hadoop实践－开发个人初体验(１)

昨天在本本的linux虚拟机上搭了hadoop和hbase，今天弄个程序来跑跑，整个过程中学习了很多东西，享受动手的快乐！

1)下载hadoop-eclipse-plugin-2.2.0.jar

这个就百度下啦

2）  配置Hadoop插件

将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到myeclipse的dropins目录下，重启myclipse即可看到该插件已生效。

通过Open Perspective菜单打开Map Reduce视图，如下：

 

看到大象图标，点右键点击new hadoop location新增一个location， 然后点击Edit Hadoop Location编辑Hadoop配置信息：

Map/Reduce(v2) Master中port 填 9101  与Hadoop配置文件mapred-site.xml中mapred.job.tracker的端口一致

--我看0.23以上版本已经不用配置mapred.job.tracker了，因为用yarn来调度了，所以这个随便填好像也没事．

DFS Master port 填9000,与Hadoop配置文件core-site.xml中fs.default.name的端口号一致

4）  新建简单Mapreduce项目

通过向导新建一个Map/Reduce项目。在此过程中，需要配置Hadoop的安装路径。

5）  通过Eclipse访问DFS

打开Resource视图，即可看到DFS：

一开始的时候发现这个目录一直处于listing状态，看不到我的hadoop下的目录．于是百度．．．

处理步骤：

１）因为hadoop运行之后，可以在master node上通过50070端口访问到hdfs管理页面。所以我在windows上访问到这个界面。结果是失败，这说明连接master node失败的原因是网络连接的问题，因为在linux下可以访问到：

ping网络是通的，所以用telnet 192.168.119.10 9000，发现telnet不能用，继续百度，说是win８系统中telnet是禁用状态的。需要手动开启,于是开启．

再telnet，失败．

于是估计是linux中防火墙的问题．．．在linux终端下：打setup

果然防火墙默认是开启，同时只配了几个开放的端口，我为了省事，直接先关闭掉防火墙

然后在win8下，通过浏览器访问http://192.168.119.10:50070，可以 查看到hadoop集群信息页面了

现在myeclipse 里的插件也可以访问到hadoopName目录了

点右键对DFS做一些操作增删改查的操作，

可以上传本地文件到HDFS,可以建目录，我建了个test目录，随便上传了一个hosts文件，如下图：

现在开发环境已经搭建好了．．．代码部分待续．．．