hadoop学习环境

原创 2015年07月08日 14:16:33

机器:ubuntu
使用hadoop2.6版本
在eclipse上进行代码编写运行测试
使用vmware建立三个虚拟机来搭建一个hadoop cluster

1、搭建hadoop cluster
//TODO
2、eclipse集成hadoop
下载hadoop2x-eclipse-plugin,使用ant编译(需要eclipse.home和hadoop.home)打包成jar包hadoop-eclipse-plugin-2.6.0.jar
将jar包复制到eclipse的插件目录,重启
在eclipse中配置hadoop安装目录window->preference->hadoop map/reduce
配置视图:window->open perspective->other->map/reduce->ok
window->show view->other->map/reduce locations->ok
配置后,控制台会出现map/reduce locations的tab页
新建hadoop locations,主要是配置mapreduce和hdfs的master(host and port)以及hadoop用户
新建一个map/reduce project,编写map/reduce 程序(例如:wordcount)配置这个程序的启动参数
hdfs://10.100.13.229:9000/input
hdfs://10.100.13.229:9000/output
一个是输入一个是输出
最后run on hadoop
注:这时候运行不成功,因为此时eclipse的运行用户不是hadoop的,我的解决方式是,修改hadoop cluster中的
hadoop.home/etc/hadoop/hdfs-site.xml

  <property>
       <name>dfs.permissions</name>
       <value>false</value>
   </property>

当然也可以修改hdfs的文件系统权限

hadoop学习1--hadoop2.7.3集群环境搭建

下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作。为了方便,使用root用户。    1.准备工作    1.1 centOS7服务器3台    master    19...
  • dream_broken
  • dream_broken
  • 2016年11月23日 11:51
  • 1567

学习Hadoop第三课(Hadoop安装与配置)

上节我们学习了JDK安装,这节我们学习一下Hadoop的安装及环境配置        首先我们需要到Apache官网下载我们需要的Hadoop版本,Apache产品官网是:http://archiv...
  • u012453843
  • u012453843
  • 2016年09月04日 17:12
  • 2174

Hadoop 2.7.3安装与配置------Hadoop学习(1)

1.JDK1.8.0_101的安装与配置 (1)百度云下载地址链接:http://pan.baidu.com/s/1i5JOCiL 密码:8hyr (2)下载后在centos6.5中解压路径为/usr...
  • liuyunshengsir
  • liuyunshengsir
  • 2016年10月14日 16:42
  • 8172

hadoop学习笔记(一) 环境的配置

  • 2013年05月04日 15:23
  • 1.4MB
  • 下载

Hadoop学习笔记001——Linux环境配置(001)

一、配置VMware     1.配置vmnetcfg(如图) 将VMnet1配置为仅主机模式,并配置子网IP为:192.168.8.0(可自行配置) 将Windows上的虚拟网卡改成跟Linux上...
  • SEVEN_LEL
  • SEVEN_LEL
  • 2017年04月05日 23:15
  • 119

Hadoop学习之一《环境搭建及配置》

问题?Hadoop学习之环境搭建及配置
  • Mr_li13
  • Mr_li13
  • 2016年09月01日 10:49
  • 927

DayDayUP_大数据学习课程[1]_hadoop2.6.0完全分布式集群环境和伪分布式集群搭建

1. 环境说明系统 :Centos6.5 软件版本: hadoop2.6.0 jdk1.8 集群状态: master: www 192.168.78.110 slave1: node1...
  • erujo
  • erujo
  • 2015年11月08日 10:17
  • 744

hadoop学习的第一天---配置linux的jdk环境

下决心学习hadoop很长时间了,昨天刚买回来书,开始了我的hadoop之旅 很多人苦恼linux怎么配置jdk环境,下面我会从安装CentOs系统说起 第一步——建立四个CentOs系统,没有规定版...
  • superhadoop
  • superhadoop
  • 2017年03月14日 19:43
  • 385

Hadoop学习笔记1:伪分布式环境搭建

在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下:              1、CentOS 6.7下安装JDK , 地址:http://blog.c...
  • yulei_qq
  • yulei_qq
  • 2016年07月17日 13:49
  • 665

Hadoop学习笔记(一)----环境搭建之VMware虚拟机安装及创建CentOS

一、vmware安装 准备好软件包: 点击安装vmware 下一步 下一步 下一步 下一步 下一步 ...
  • u011781521
  • u011781521
  • 2016年10月25日 10:51
  • 2164
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop学习环境
举报原因:
原因补充:

(最多只允许输入30个字)