hadoop学习环境

机器：ubuntu
使用hadoop2.6版本
在eclipse上进行代码编写运行测试
使用vmware建立三个虚拟机来搭建一个hadoop cluster

1、搭建hadoop cluster
//TODO
2、eclipse集成hadoop
下载hadoop2x-eclipse-plugin，使用ant编译（需要eclipse.home和hadoop.home）打包成jar包hadoop-eclipse-plugin-2.6.0.jar
将jar包复制到eclipse的插件目录，重启
在eclipse中配置hadoop安装目录window->preference->hadoop map/reduce
配置视图：window->open perspective->other->map/reduce->ok
window->show view->other->map/reduce locations->ok
配置后，控制台会出现map/reduce locations的tab页
新建hadoop locations，主要是配置mapreduce和hdfs的master（host and port）以及hadoop用户
新建一个map/reduce project,编写map/reduce 程序（例如：wordcount）配置这个程序的启动参数
hdfs://10.100.13.229:9000/input
hdfs://10.100.13.229:9000/output
一个是输入一个是输出
最后run on hadoop
注：这时候运行不成功，因为此时eclipse的运行用户不是hadoop的，我的解决方式是，修改hadoop cluster中的
hadoop.home/etc/hadoop/hdfs-site.xml

  <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property>

当然也可以修改hdfs的文件系统权限