hadoop伪分布式错误经验 eclipse插件配置经验

原创 2013年12月06日 12:07:06
经过将近1个月的努力,最后终于终于把伪分布式搭建好了在搭建的过程中,学到很多东西,在安装hadoop
所犯错误如下:
一.ssh互连错误
1.ssh连接错误  
产生原因  使用交换机而不是路由器


2.第二个节点需要验证密码


产生原因  主节点在链接上第一个节点之后,在第一个节点的控制台下向第二个节点发送密钥 
导致第二个节点收到的不是主节点密钥而是第一个节点密钥  故此一直无法验证


二.hadoop搭建错误
这个地方困惑了好久   错误较多
1.没有理清ip   盲目照搬教程  配置各个xml文件错误
2.环境变量错误  
路径不正确   对于修改后的环境变量没有使用source命令  
3.命令错误
对于start-all.sh命令  尽量使用 直接打开方式  而不是,hadoop文件下./bin/start-al.sh
4.对于伪分布式的搭建 尽量将文件放在简洁的路径当中  环境变量尽可能不包含中文
5.每次重启使用hadoop namenode -format 命令的时候  应把hadoop/tmp下文件尽量删除
6.每次使用hadoop时,都应该把ip再ifconfig检查一遍 确保一致后再启动


三.eclipse插件错误
1.在启动hdfs之后  没有注意打开explore
粗心错误


2.应保证hadoop完全无误并已经启动的情况下 再来使用eclipse   对于hadoop线程编辑  端口号与xml要一致


3.使用验证代码路径与教程灵活一致  不能死板  


4.对于hdfs路径的变更  要使用disconnect  reconnect来刷新  才能得到正确情况  这个错误耗时好久




四.领悟的大道理


1.一定要专心  


2.严格按照教程  尽量不要主观的去修改某些东西


3.尽量避免在一次完整的配置过程中使用多个教程


4.细心


5.坚持


6.不懂就google  多和论坛  群里人交流


7.心静  


Ubuntu配置hadoop单机+伪分布式环境+eclipse--安装hadoop(一)

Ubuntu安装Hadoop记录本次安装过程,本次安装使用32位Ubuntu12.04,JDK版本为1.8.0_11。1) 安装linux虚拟机本教程使用VMware WorkStationPro,新...
  • xiaerwoailuo
  • xiaerwoailuo
  • 2016年10月09日 11:05
  • 479

hadoop2.6.0版本搭建伪分布式环境

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6版本集群环境搭建...
  • stark_summer
  • stark_summer
  • 2015年02月06日 15:56
  • 47347

Windows环境下采用eclipse连接虚拟机中的Hadoop伪分布式集群

目的及意义 学会搭建伪分布式集群环境,以便于理解MapReduce及HDFS; 采用eclipse与伪分布式集群连接有利于分布式程序的调试; 现在网络上的文章多是介绍如何搭建伪分布式集群或者是仅介绍在...
  • quintind
  • quintind
  • 2017年09月06日 06:35
  • 1313

Hadoop2.7.3的安装详细过程(伪分布式)

1.安装java 2.设置ssh免密码登入 3.安装Hadoop1.安装java:rpm -ivh jdk-8u101-linux-i586.rpm然后设置环境变量 vi /etc/profile...
  • q5390498
  • q5390498
  • 2016年10月29日 18:19
  • 1893

hadoop的伪分布式模式配置与安装

hadoop的伪分布式模式配置与安装   上次对hadoop单机模式中已经介绍了hadoop的基本安装,本次将讲解hadoop的伪分布式模式进行对hadoop的基本模拟部署。   安装软件:     ...
  • u013008795
  • u013008795
  • 2016年04月12日 15:22
  • 2085

Hadoop:Hadoop单机伪分布式的安装和配置

http://blog.csdn.net/pipisorry/article/details/51331734 本文内容:使用docker配置hadoop单机伪分布式开发环境 本教程配置环境: d...
  • pipisorry
  • pipisorry
  • 2016年05月06日 15:11
  • 5184

hadoop - hadoop2.6 伪分布式 - eclipse 中 配置 和 示例 wordcount

1.配置eclipse     1.1 下载 linux版的 eclipse  百度云 - 大数据资料专辑    1.2 解压      可以手动提取,也可以命令提取: yuan@LAB...
  • LABLENET
  • LABLENET
  • 2016年01月21日 22:08
  • 947

Hadoop伪分布式-----Spark的安装和配置

在前面几章已经搭建好Hadoop环境,本节主要介绍在Hadoop基础上搭建Spark平台 1 下载所需安装包 1)下载spark安装包      2)下载Scala安装包,并解压安装包本例以下面版...
  • u012535605
  • u012535605
  • 2017年03月30日 20:27
  • 485

Eclipse安装Hadoop插件配置Hadoop开发环境

一、下载Hadoop插件 注意:Hadoop插件要跟自己安装的Hadoop版本相对应。 这儿有一个Hadoop 2.X版本对应的Hadoop插件,前往下载, 下载hadoop2x-eclipse-pl...
  • GarfieldEr007
  • GarfieldEr007
  • 2015年11月17日 13:07
  • 2390

hadoop2.7.3伪分布式搭建之三------>Hadoop2.7.3的安装

1. 第一步        上传hadoop的安装包hadoop-2.7.3.tar.gz到服务器上去/home/hadoop/ 2.  第二步 配置hadoop hadoop-2.7....
  • hongchenlingtian
  • hongchenlingtian
  • 2016年11月17日 20:08
  • 2608
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop伪分布式错误经验 eclipse插件配置经验
举报原因:
原因补充:

(最多只允许输入30个字)