Hadoop
文章平均质量分 56
Bolong_
这个作者很懒,什么都没留下…
展开
-
如何在Hadoop上跑通WordCount
先整体上说一下整个流程是怎么弄的。首先我们需要有WordCount.java源程序,输入文档file1.txt,里面写上几行单词。接着对该源文件进行编译,编译之后打包成jar。然后把file1传到hadoop里,接着把file1、jar包扔给hadoop让他来帮我们统计每个单词出现的次数,结果输出在我们指定的路径里的part-r-00000。下面来看具体是怎么操作的吧!首先,需要Hadoop集群已...原创 2018-03-27 15:26:33 · 713 阅读 · 0 评论 -
java.lang.ClassNotFoundException: Class WordCount$TokenizerMapper not found
第二次实验在hadoop上跑WordCount时,遇到了让人头疼的问题:java.lang.ClassNotFoundException: Class WordCount$TokenizerMapper not found操作跟之前一样,而且编译java源文件之后,也确实看到了WordCount$TokenizerMapper.class实在不明白是哪里出了问题。上网查了一下,https://bl...原创 2018-04-18 18:14:12 · 1316 阅读 · 0 评论 -
从节点datanode启动报错:RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): 993
启动hadoop日常报错,今天是两台datanode只启动了一台,查看日志文件:WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-406105891-192.168.31.129-1524063772org.apache.hadoop.ipc.RemoteException(org.apache.hadoop....原创 2018-04-22 23:44:24 · 606 阅读 · 0 评论 -
namenode进程无法启动,datanode启动正常;格式化之后,namenode正常,datanode无法启动,怎么解决?
集群环境,全分布式,一个master,两个slave。启动hadoop后,两个slave结点进程正常,master缺少namenode。网上查了一翻,说是namenode元信息受损,需要修复,于是想起刚才急着去吃饭,hadoop没有关闭,电脑随手一合。。心塞。。尝试一翻无果后,只能格式化:cd /opt/linuxsir/hadop/bin./hdfs namenode -format接着清理日志...原创 2018-04-18 23:53:10 · 783 阅读 · 0 评论