hadoop
1!="1"
这个作者很懒,什么都没留下…
展开
-
hadoop使用Yarn进行资源队列划分管理
最近在做一个使用sqoop抽取数据最终存进hawq里面的一个项目,然后在做项目的过程,因为经验等一系列的问题,碰到了不少坑,现在将我最近碰到的一个坑写一下,现象大致是这样的,数据在通过sqoop跑量时,会出现跟hawq哄抢资源的情况,也就是我通过yarn application -list 命令,我能明显看到hawq的一个进程一直在占用着资源,没法释放出来给sqoop使用就是图...原创 2018-11-08 20:20:06 · 4108 阅读 · 0 评论 -
hadoop不使用ntpd完成时钟同步
最近在做项目时,碰到个比较坑的问题,客户那边机器ntpd一直都有问题,然后服务器又不能连外网,搞得很尴尬,最后只能使用date -s 这么一个笨办法来完成时钟同步了,具体脚本如下date2=`date "+%H:%M:%S"`echo ${date2}ssh slave16 date -s "${date2}"ssh slave17 date -s "${date2}"s...原创 2018-12-20 16:59:39 · 383 阅读 · 0 评论 -
lease机制导致hdfs创建文件失败
最近遇到一个有关hadoop的租赁问题,现在将其记录下来12716 [main] WARN org.apache.sqoop.tool.EvalSqlTool - SQL exception executing statement: org.postgresql.util.PSQLException: , error: Failed to CREATE_FILE /hawq_data/E...原创 2018-12-26 11:34:31 · 4791 阅读 · 1 评论 -
hawq在启动时一直报权限错误
今天在启动hawq是,一直报没有权限错误,最后查看日志发现,gpadmin用户下的文件它访问不了,但是就觉得很无奈,gpadmin用户无法访问属于它自己的目录,这就很无语,最后只能对比 其他节点该目录的权限信息,最后还是发现点不同从上图我们可以看到gpadmin用户它属于gpadmin用户组的,对比其他节点发现,该文件目录应该是要属于gpadmin hadoop用户组,然后我们再修改gpa...原创 2019-01-11 11:45:03 · 359 阅读 · 0 评论 -
centos7 网络测试工具iperf3的使用
在使用之前我们需要下载这个iperf3,因为没有现成的包让我们下载,我们只能下载压缩包自行编译#wget http://downloads.es.net/pub/iperf/iperf-3.0.6.tar.gz#tar zxvf iperf-3.0.6.tar.gz# cd iperf-3.0.6# sh configure# make && make instal...原创 2019-01-18 17:17:24 · 5288 阅读 · 0 评论 -
hadoop集群使用gpcheckperf检测整个集群的性能
在使用gpcheckperf工具之前,我们需要先source一下hawq的配置文件source /usr/local/hawq/greenplum_path.sh 然后在vim一个seg_host文件,这个文件名可以随意在该文件中,写入你需要检测的节点名,然后保存在输入下面这行命令 gpcheckperf -f /opt/seg_host -d /export/gpdata –v ...原创 2019-01-18 17:26:01 · 652 阅读 · 0 评论