- 博客(10)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 脚本 hive 删除掉分区
在脚本中调用命令删除分区hive -S -e “alter table ods.** （table）drop partition (dt=’$data_date’);” 发现不成功解锁 后 hive 命令好 输入 成功删除hive -e “alter table ods.*** （table）drop partition (dt=’$data_date’);” 成功...
2019-03-31 15:12:24
1034
原创 spiderkeeper安装
环境pyenv 下的 3.5.3因为 python 环境 已经绑定国定文件间su - 到用户下 cd 到指定路径直接pip install scrapyd scrapy spiderkeeper启动 scrapyd启动 spiderkeeper报错:raise DistributionNotFound(req, requirers)pkg_resources.Distri...
2019-03-27 18:49:34
767
1
原创 linux 下环境配置 .bash_profile 和 .bashrc 和/etc/profile 加载顺序
概念linux 现行最长用的是bash 而其包含两种属性，即“交互”与“登陆”。交互式：是shell的一种运行模式，交互式shell等待你输入命令，并且立即执行，然后将结果反馈给你。这是每个CLI用户都非常熟悉的流程：登录、执行一些命令、登出。当你登出后，这个shell就终止了。非交互式：是shell的另一种运行模式，它专门被用来执行预先设定的命令。在这种模式下，shell不与用户进...
2019-03-26 20:50:30
1982
原创 python多版本环境安装pyenv 和镜像使用
一 、pyenv安装方式git 安装1、安装gityum install git -y2、安装Python编译依赖yum -y install gcc make patch gdbm-devel openssl-devel sqlite-devel readline-devel zlib-devel bzip2-devel3、创建用户pythonuseradd python (如果...
2019-03-25 16:45:21
597
原创 linux 对特定 服务器 开放特定端口
在 spark ui 中出现某个端口不能访问的问题解决：由于跨内网外网安全问题技术选型为 ，部署一台window 系统 虚拟机（可以远程访问并且这个虚拟机和hodoop 集群属于同一内网）然后 在hadoop 集群的节点对这台虚拟机的 ip 开放指定端口命令为root 用户下vi /etc/sysconfig/iptables添加 （对192.168.0.125开放 8042端口...
2019-03-14 16:12:08
1412
原创 hive 提交到 yarn 任务 方式 和 spark UI 不能收集日志问题
1.通过本地客户那端命令连接hive -e ‘select count(*) from *** where ***’或者 本地 敲命令 hive 然后 写 sql方式或者bin/hive -e “HQL语句，多个语句用；隔开”; //-e表示直接写HQLhive-1.1.0-cdh5.14.0]# bin/hive -f /export/servers/hive-study-da...
2019-03-13 15:51:55
1943
原创 azkaban 提交 yarn 任务等待
在azkaban 中出现Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/jars/hive-common-1.1.0-cdh5.13.0.jar!/hive-log4j.properties和Query ID = hdfs_20190...
2019-03-13 10:42:28
1521
2
原创 mysql 中 某个字段值 替换 删除包含 某字符记录
采用下面sql 对 insertDate 字段值中包含的- 替换为 点,update *****表名 set insertDate=REPLACE(insertDate,’-’,’.’)
2019-03-12 19:05:33
2074
原创 cloudera HiveServer2 备份安装
1在cloudera 中 选择 添加服务2选择 hiveserver2 要安装的主机3在 其已经安装有 hiveserver2的机子上安装 spark 客户端（一般cloudera 中我们会选择 hive on spark ）4然后在启动已经安装好的 hiveserver2 的服务（注意先后顺序 ，先在其对应机子上安装 spark 客户端之后 再启动 hiveserver2 服务 否则会使...
2019-03-07 16:16:31
210
原创 服务器磁盘空间 处理方式 df -h和df -i
查看服务器 磁盘空间方式（任何一种超过 100%都会导致 服务器出问题）df -h的比较好解释，就是查看磁盘容量的使用情况df -i，先需要去理解一下inode最简单的说法，inode包含的信息：文件的字节数，拥有者id，组id，权限，改动时间，链接数，数据block的位置。一般可以理解问文件数量df -h 是去删除比较大无用的文件-----------大文件占用大量的磁盘容量。d...
2019-03-01 10:36:07
1449
1
show-busy-java-threads.sh
2020-08-05
tensorflow-1.11.0-cp36-cp36m-win_amd64.whl
2019-08-26
Microsoft Visual C++ 14.0
2018-10-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人