Windows下基于Eclipse的Hadoop开发环境完全配置(二)

 接下来开始配置Hadoop了,

一,解压文件

打开一个cygwin,输入以下命令

      cd .

      explorer .

会弹出一个新窗口,把原来下载的hadoop压缩文件放到里面,并解压。个人认为,其实不一定要放到cygwin的用户根目录下,没试过。

二,配置Hadoop

打开解压出来的文件夹,在 hadoop-0.19.2/conf 目录下有一个 hadoop-site.xml 文件,打开,在原有的

<configuration>

</configuration>间插入

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9100</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9101</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

保存。

三,格式化Name Node

打开一个cygwin,转到hadoop目录下,如果按照前面的解压,直接用cd hadoop-0.19.2就可以了,接着输入以下命令:
      mkdir logs
      bin/hadoop namenode -format

四,安装Eclipse插件

打开解压后的文件夹,把hadoop-0.19.2/contrib/eclipse-plugin下的hadoop-0.19.2-eclipse- plugin.jar文件拷到eclipse 的plugins目录下,重启eclipse,在Window-》Open Perspective-》other,弹出的窗口中应该有一项Map/Reduce项,代表安装成功了。如果没有的话,把eclipse下的 configuration/org.eclipse.update文件夹删了,再重启eclipse。


五,启动Hudoop集群

启动五个cygwin。

在第一中启动NameNode,执行:
cd hadoop-0.19.2
bin/hadoop namenode

在第二个中启动Secondary NameNode,执行:
cd hadoop-0.19.2
bin/hadoop secondarynamenode

第三个中启动job tracker 执行:
cd hadoop-0.19.2
bin/hadoop jobtracker

第四个中启动data node ,执行
cd hadoop-0.19.2
bin/hadoop datanode

最后一个启动 task tracker, 执行:
cd hadoop-0.19.2
bin/hadoop tasktracker

六,在Eclipse中配置环境

启动eclipse,转到Map/Reduce Perspective,在上图的Map/Reduce Locations里,新建一个Location,填入以下值

    * Location Name -- localhost
    * Map/Reduce Master
          o Host -- localhost
          o Port -- 9101
    * DFS Master
          o Check "Use M/R Master Host"
          o Port -- 9100
    * User name -- 默认


七,上传文件到HDFS

打开一个cygwin,执行

      cd hadoop-0.19.1
      bin/hadoop fs -mkdir In
      bin/hadoop fs -put *.txt In

这时,在eclipse的Project explorer的DFS location中,应该能反应变化,没有的话,reconnect一下

好了,东西都准备好了,下篇就可以开始创建工程了。

评论 13
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值