Hadoop 环境配置和第一个例子

原创 2016年08月30日 15:53:50

最近想研究下hadoop,折腾了好几天终于跑成功了自带例子CountWord。所以特此开贴记录碰到的问题。

首先是在windows 上安装cygwin上想运行hadoop,无奈实在问题太多,转到虚拟机。

首先借鉴的是这篇文章:http://www.open-open.com/lib/view/open1435761287778.html

总体讲的比较详细,但是在安装过程中还是遇到很多问题,虚拟机安装centos 比较简单,但是在ssh免密码登录的时候还是需要密码,通过搜索和实践,

http://blog.csdn.net/hackerwin7/article/details/28109073 通过这个方法成功了。

之后是配置JDK,这个也相对简单,其中麻烦的就是虚拟机中的vm tools 挂cdrom 会碰到点问题,看不到共享的目录,这个网上搜索也有答案。

然后是配置hadoop,这是问题最多的步骤,首先http://www.open-open.com/lib/view/open1435761287778.html 的配置其实是错误的,网上搜了下,

大部分教程都是转载,问题都一样,其中7,8的标题写的都是配置mapred-site.xml,显然是不对的,经过研究,8配置的应该是yarn-site.xml

主服务器的hadoop scp 到从服务器的时候,passwordauthentication 要打开,可能之前ssh免密码登录的时候已经关闭了,其实开启也没事。

在做格式化之前先把防火墙关闭。自动启动也关闭。hadoop启动时在关闭防火墙,datanode有个进程会消失(原因没找到)。

最纠结的就是hosts 文件了,反复配置了2天,各种尝试,网上的教程也比较坑爹,有的让把127.0.0.1删除,被坑了不少。

下面是我的主服务器配置:

192.168.42.128 localhost
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.42.129 anyname1
192.168.42.130 anyname2

从:

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.42.129 localhost

128就是主的ip,和从的区别就是自己的ip放在最上面,因为启动hadoop时,监测9000端口时,都是127.0.0.1的ip,不能对外开放,经过尝试得出这种解决方法,

129和130也要配置在主的hosts中,对应的hostname随便填写就好,如果不配置从的ip-hostname的话,启动hadoop会报错,datanode则无法启动。


之后就是格式化和启动hadoop了。上面的问题都解决后,终于在http://192.168.42.128:50070 中看到live nodes 是 2 了。不容易啊。

之后就是eclipse的环境部署,这种教程也是网上一搜一大堆,按部就班后还是会遇到问题,比如刚开始连接的时候

这个下面一个文件夹也没有,以后自己没有连接成功,因为看到网上很多都说连接成功可以看到文件结构,后来摸索了下,本来就是结构嘛,然后再hadoop的hdfs中创建了

input 和 output文件夹,刷新了下 就可以看到了。

之后就新建mapreduce的项目,把CountWord.java复制进去,跑了下就报错createDirectoryWithMode0(Ljava/lang/String;I)V。之后把正确对应版本的hadoop.dll放到system32 中,run的参数设置了下,就能跑了,



不过感觉跑的不像是虚拟机上的mapreduce,还有待研究。


Hadoop 第一个实例 workcout

在搭建好Hadoop 集群环境后,迫不及待的想实验一下自己搭建的环境到底能不能跑的通,在这里我做一个简单的介绍。 这里我用的是Hadoop2.6.0,三台计算机,一个namenode节点,两个data...
  • IAProgramer
  • IAProgramer
  • 2016年05月25日 16:31
  • 315

第一个Hadoop程序——WordCount

通过前面两篇博客的学习,我们学习了Hadoop的伪分布式部署和完全分布式部署。这一篇文章就来介绍一下Hadoop的第一个程序WordCount。以及在运行代码的过程中遇到的问题。...
  • u013761665
  • u013761665
  • 2015年07月24日 19:22
  • 5268

hadoop学习---运行第一个hadoop实例

hadoop环境搭建好后,运行第wordcount示例 1.首先启动hadoop:sbin/start-dfs.sh,sbin/start-yarn.sh(必须能够正常运行) 2.进入到h...
  • u012366219
  • u012366219
  • 2017年12月12日 14:21
  • 72

hadoop第一个例子WordCount

import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Config...
  • baoendemao
  • baoendemao
  • 2013年12月05日 17:00
  • 544

Hadoop学习---第三篇Hadoop的第一个Mapreduce程序

Mapreducer程序写了好几个了,但是之前一直都没有仔细的测试过本地运行和集群上运行的区别,今天写了一个Mapreduce程序,在此记录下来。  本地运行注意事项有以下几点: 1、本地必须配置好H...
  • zxl333
  • zxl333
  • 2015年05月30日 21:50
  • 802

hadoop第一个例子wordcount学习

昨天在自己的电脑上配置了Hadoop,也运行了第一个MapReduce程序WordCount程序。但是对mapreduce的编程还很不清楚,在网上转了一段对wordcount的解释,转载学习下。 Wo...
  • mxlgslcd
  • mxlgslcd
  • 2017年05月27日 17:41
  • 69

Hadoop自带的一些程序示例

一、PiEstimator.java 位置:E:\Hadoop\hadoop-0.20.1\src\examples\org\apache\hadoop\examples /** * Lic...
  • GarfieldEr007
  • GarfieldEr007
  • 2016年03月14日 19:44
  • 1903

第一个hadoop程序:WordCount

在windows8.1+eclipse编写hadoop程序,并尝试运行,步骤如下: 1.在Eclipse开发环境中创建JAVA工程 双击桌面上的Eclipse的快捷方式。首先选择菜单“Fi...
  • hexiaofen1996
  • hexiaofen1996
  • 2017年03月30日 19:26
  • 114

Hadoop安装配置、运行第一个WordCount示例程序

操作系统ubuntu。本篇目的是在单机模式下运行成功WordCount示例程序。 本篇小结安装步骤,遇到的问题和解决办法。 疑惑点及其思考。 Hadoop是为linux而开发的,...
  • qq_23617681
  • qq_23617681
  • 2016年04月17日 11:21
  • 510

第一个Hadoop程序——Hello Hadoop

本人原创,转载请注明出处:
  • panjunbiao
  • panjunbiao
  • 2013年10月16日 09:38
  • 1807
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop 环境配置和第一个例子
举报原因:
原因补充:

(最多只允许输入30个字)