hadoop伪分布式错误经验 eclipse插件配置经验

原创 2013年12月06日 12:07:06
经过将近1个月的努力,最后终于终于把伪分布式搭建好了在搭建的过程中,学到很多东西,在安装hadoop
所犯错误如下:
一.ssh互连错误
1.ssh连接错误  
产生原因  使用交换机而不是路由器


2.第二个节点需要验证密码


产生原因  主节点在链接上第一个节点之后,在第一个节点的控制台下向第二个节点发送密钥 
导致第二个节点收到的不是主节点密钥而是第一个节点密钥  故此一直无法验证


二.hadoop搭建错误
这个地方困惑了好久   错误较多
1.没有理清ip   盲目照搬教程  配置各个xml文件错误
2.环境变量错误  
路径不正确   对于修改后的环境变量没有使用source命令  
3.命令错误
对于start-all.sh命令  尽量使用 直接打开方式  而不是,hadoop文件下./bin/start-al.sh
4.对于伪分布式的搭建 尽量将文件放在简洁的路径当中  环境变量尽可能不包含中文
5.每次重启使用hadoop namenode -format 命令的时候  应把hadoop/tmp下文件尽量删除
6.每次使用hadoop时,都应该把ip再ifconfig检查一遍 确保一致后再启动


三.eclipse插件错误
1.在启动hdfs之后  没有注意打开explore
粗心错误


2.应保证hadoop完全无误并已经启动的情况下 再来使用eclipse   对于hadoop线程编辑  端口号与xml要一致


3.使用验证代码路径与教程灵活一致  不能死板  


4.对于hdfs路径的变更  要使用disconnect  reconnect来刷新  才能得到正确情况  这个错误耗时好久




四.领悟的大道理


1.一定要专心  


2.严格按照教程  尽量不要主观的去修改某些东西


3.尽量避免在一次完整的配置过程中使用多个教程


4.细心


5.坚持


6.不懂就google  多和论坛  群里人交流


7.心静  


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Ubuntu配置hadoop单机+伪分布式环境+eclipse--安装eclipse并配置插件(四)

Ubuntu配置hadoop+eclipse1)下载并安装eclipse在官网下载eclipse,http://www.eclipse.org/downloads/eclipse-packages/?...

linux 下配置伪分布式Hadoop1.2.1出现的一些错误

工具: ubuntu Linux Hadoop-1.2.1 SSH jdk 安装过程遇到的问题: 在Hadoop的配置中难免会遇见一些问题,网上的安装很多,也很全,但应用在自己的机...

Ubuntu系统安装+Hadoop伪分布式环境搭建+eclipse环境配置

以前,我的Hadoop平台都是师兄搭建的,现在师兄毕业了,只能自己动手搭建。 本来我是打算在实验室的台式机上安装VMware,然后安装Ubuntu,Hadoop,eclipse,并且进行配置,但是弄了...

Hadoop伪分布式配置试用+eclipse配置使用

参考文档:http://hadoop.apache.org/common/docs/current/single_node_setup.html 环境:WinXP+cygwin+hadoop-0...

win7下Eclipse4.4.0+JDK1.8配置hadoop2.5.1插件遇到的各种错误

已经在win7下装好了hadoop2.5.1,想在Eclipse下安装对应的插件,网上搜了好多帖子都是比较老版本的hadoop插件配置过程,由于是新手担心Eclipse版本与对应的hadoop插件不兼...

Eclipse 安装反编译插件jadclipse(经验总结)

http://jingyan.baidu.com/article/3f16e003c857082590c1036f.html debug时class not found 问题 工具/原料 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)