![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 55
iteye_20866
这个作者很懒,什么都没留下…
展开
-
jps命令不能查看hadoop进程
今天使用jps命令,发现没有了hadoop的相关进程,如datanode,namenode,jobtracker,tasktracker等,都看不到了,但使用pe -ef|grep hadoop是看到相关进程的,而且hadoop是正常运行当中,能跑mr程序.这个问题导致的后果就是不能对hadoop进程停启了,因为机器认不到namenode/datanode进程,影响还是挺大的....2013-11-19 10:59:34 · 1384 阅读 · 0 评论 -
ganglia离线安装
由于公司机房机器不允许上网,所以需要一个离线安装ganglia的方案,网上的教程都是有联网的,所以自己写一编 ganglia离线安装教程.机器系统: redhat 5.6 64位 安装rrdtools注:由于机房机器能连接外网,所以需要下载好相关的包,上传到机器上. http://oss.oetiker.ch/rrdtool/pub...原创 2013-12-16 17:42:46 · 247 阅读 · 0 评论 -
hadoop自带的wordcount
1、通过hadoop的命令在HDFS上创建/tmp/workcount目录,命令如下:bin/hadoop fs -mkdir /tmp/wordcount 2、通过copyFromLocal命令把本地的word.txt复制到HDFS上,命令如下:bin/hadoop fs -copyFromLocal /home/grid/word.txt /tmp/wordcount/word.tx...原创 2012-11-24 19:31:24 · 186 阅读 · 0 评论 -
cloudera manager安装问题记录
使用cloudera manager安装hadoop,过程中日志记录错误如下:Could not initialize database server. This usually means that your PostgreSQL installation failed or isn't working properly. PostgreSQL is installed us...原创 2014-02-12 14:29:43 · 195 阅读 · 0 评论 -
cloudera manager安装问题记录二
问题一IOException thrown while collecting data from host: No route to host 因为agent机器开启了防火墙解决: service iptables stop 问题二在以下主机上,组 'hadoop' 不包括用户 'hdfs': 解决:usermod -a -G hadoop hdfs...2014-02-12 15:11:51 · 324 阅读 · 0 评论 -
sqoop扩展
sqoop是一款数据互导工具,利用它可以在关系数据库与hbase/hive/hdfs进行数据互导,过程中会生成一个mapreduce任务,也就说是sqoop是基于hadoop的.淘宝也有自己的数据互导工具,叫datax,它跟sqoop实现原理不同,没有基于hadoop. sqoop目前还没有很好的支持不同的导数据业务,比如数据库字段名称不能与java关键字同名、row-key不支持整型...原创 2013-02-06 00:31:40 · 145 阅读 · 0 评论