hadoop学习环境

原创 2015年07月08日 14:16:33

机器:ubuntu
使用hadoop2.6版本
在eclipse上进行代码编写运行测试
使用vmware建立三个虚拟机来搭建一个hadoop cluster

1、搭建hadoop cluster
//TODO
2、eclipse集成hadoop
下载hadoop2x-eclipse-plugin,使用ant编译(需要eclipse.home和hadoop.home)打包成jar包hadoop-eclipse-plugin-2.6.0.jar
将jar包复制到eclipse的插件目录,重启
在eclipse中配置hadoop安装目录window->preference->hadoop map/reduce
配置视图:window->open perspective->other->map/reduce->ok
window->show view->other->map/reduce locations->ok
配置后,控制台会出现map/reduce locations的tab页
新建hadoop locations,主要是配置mapreduce和hdfs的master(host and port)以及hadoop用户
新建一个map/reduce project,编写map/reduce 程序(例如:wordcount)配置这个程序的启动参数
hdfs://10.100.13.229:9000/input
hdfs://10.100.13.229:9000/output
一个是输入一个是输出
最后run on hadoop
注:这时候运行不成功,因为此时eclipse的运行用户不是hadoop的,我的解决方式是,修改hadoop cluster中的
hadoop.home/etc/hadoop/hdfs-site.xml

  <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property>

当然也可以修改hdfs的文件系统权限

相关文章推荐

hadoop学习笔记(一) 环境的配置

  • 2013年05月04日 15:23
  • 1.4MB
  • 下载

hadoop学习的第一天---配置linux的jdk环境

下决心学习hadoop很长时间了,昨天刚买回来书,开始了我的hadoop之旅 很多人苦恼linux怎么配置jdk环境,下面我会从安装CentOs系统说起 第一步——建立四个CentOs系统,没有规定版...

Hadoop学习笔记(一)----环境搭建之VMware虚拟机安装及创建CentOS

一、vmware安装 准备好软件包: 点击安装vmware 下一步 下一步 下一步 下一步 下一步 ...

Hadoop学习之一《环境搭建及配置》

问题?Hadoop学习之环境搭建及配置
  • Mr_li13
  • Mr_li13
  • 2016年09月01日 10:49
  • 758

DayDayUP_大数据学习课程[1]_hadoop2.6.0完全分布式集群环境和伪分布式集群搭建

1. 环境说明系统 :Centos6.5 软件版本: hadoop2.6.0 jdk1.8 集群状态: master: www 192.168.78.110 slave1: node1...
  • erujo
  • erujo
  • 2015年11月08日 10:17
  • 700

Hadoop学习笔记001——Linux环境配置(001)

一、配置VMware     1.配置vmnetcfg(如图) 将VMnet1配置为仅主机模式,并配置子网IP为:192.168.8.0(可自行配置) 将Windows上的虚拟网卡改成跟Linux上...

Hadoop学习笔记1:伪分布式环境搭建

在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下:              1、CentOS 6.7下安装JDK , 地址:http://blog.c...

Hadoop学习笔记(三)Linux环境配置

Hadoop配置文档(一)下载安装下载jdk-7u80-linux-x64.tar.gz sudo tar -xvf jdk-7u80-linux-x64.tar.gz -C /opt/module...

Hadoop学习笔记—14.ZooKeeper环境搭建

从字面上来看,ZooKeeper表示动物园管理员,这是一个十分奇妙的名字,我们又想起了Hadoop生态系统中,许多项目的Logo都采用了动物,比如Hadoop采用了大象的形象,所以我们可以猜测ZooK...

VMWare虚拟机安装CentOS 7 Linux及Hadoop与Eclipse学习环境(1-虚拟机)

本文介绍VMWare虚拟机安装CentOS 7 Linux安装过程,以及Hadoop与Eclipse学习环境安装配置过程。...
  • xiaoyw
  • xiaoyw
  • 2016年11月22日 10:11
  • 1847
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop学习环境
举报原因:
原因补充:

(最多只允许输入30个字)