关闭

hadoop学习环境

标签: hadoop
50人阅读 评论(0) 收藏 举报
分类:

机器:ubuntu
使用hadoop2.6版本
在eclipse上进行代码编写运行测试
使用vmware建立三个虚拟机来搭建一个hadoop cluster

1、搭建hadoop cluster
//TODO
2、eclipse集成hadoop
下载hadoop2x-eclipse-plugin,使用ant编译(需要eclipse.home和hadoop.home)打包成jar包hadoop-eclipse-plugin-2.6.0.jar
将jar包复制到eclipse的插件目录,重启
在eclipse中配置hadoop安装目录window->preference->hadoop map/reduce
配置视图:window->open perspective->other->map/reduce->ok
window->show view->other->map/reduce locations->ok
配置后,控制台会出现map/reduce locations的tab页
新建hadoop locations,主要是配置mapreduce和hdfs的master(host and port)以及hadoop用户
新建一个map/reduce project,编写map/reduce 程序(例如:wordcount)配置这个程序的启动参数
hdfs://10.100.13.229:9000/input
hdfs://10.100.13.229:9000/output
一个是输入一个是输出
最后run on hadoop
注:这时候运行不成功,因为此时eclipse的运行用户不是hadoop的,我的解决方式是,修改hadoop cluster中的
hadoop.home/etc/hadoop/hdfs-site.xml

  <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property>

当然也可以修改hdfs的文件系统权限

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:623次
    • 积分:81
    • 等级:
    • 排名:千里之外
    • 原创:8篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类