ubuntu12.04服务器版本hadoop 1.2.1集群安装遇到问题总结

最新推荐文章于 2024-07-23 12:11:43 发布

heuzxl

最新推荐文章于 2024-07-23 12:11:43 发布

阅读量543

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/heuzxl/article/details/32176853

版权

hadoop 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1、本人为linux 小白。对集群的维护吃了不少苦头。所以什么关防火墙了。配置ssh无密码登录了，都有一些困难，不过总算是弄好了
问题1、一个slave无法启动，郁闷了好一把，后来查看自己的配置，我当时依照别人的配置配置什么主机名，配置中也加入了主机名，擦，我觉得这点很坑爹，搞什么主机名，配置中千万别加入主机名的配置，最后 在不能启动的Slave上查看。郁闷了，这个主机名配置不对，并且 在/etc/hosts中没有配置master的相应IP，郁闷。最后 配置，果断能启动
问题2、这个时候能启动了，但是我又看了一下别人的配置修改一下	SSH的授权文件(authorized_keys)的权限。我是在SLAVE上面修改的，一修改，MASTER果断连接不到SLAVE。不能乱搞这个文件啊
问题3、总算把ssh 搞定 ， 这时datanode又启动不了了，查看了一下别人的经验 。把自己的临时目录 <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
上面配置的目录下面的所有的文件删除，主机和Slave上面都删除。重新运行一下 ./hadoop namenode -format
重新 启动，好使
问题4、运行WorldCount 
一般我们写程序都会有包进行添加，如果运行程序时简单的一句 ~/hadoop-1.2.1/bin/hadoop jar wordcount.jar WordCount input output

往往会找不到主程序

Exception in thread "main" java.lang.ClassNotFoundException: WordCount

这种情况下一般要把主类名称的包前缀加上

~/hadoop-1.2.1/bin/hadoop jar wordcount.jar com.WordCount input output