安装Hadoop——Hadoop实战初级部分学习笔记

3、安装Hadoop

 

1、window上装

   （建议xp 玩玩就行了，实际要在linux）

1.1、装JDK（不要装到带空格等目录中。。）

1.2、安装cygwin

需要安装oenSSL、VIM、Base

1.3、在cygwin安装SSHD

  ssh-host-config

1.4、启动SSHD

  net start sshd

1.5、实现ssh无密码登录

   ssh-keygen

完成后会在~/.ssh/生成两个文件：id_dsa和id_dsa.pub

  Cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 完成

 

1.6、安装hadoop

  下载解压即可

1.7、配置

  先了解概念：

     HDFS NameNode 管理节点 DataNode 数据节点 SecondaryNameNode数据源信息备份整理节点

     MapReduce JobTracker 任务管理节点 TaskTracker 任务运行节点

   

     配置文件

        core-site.xml common属性配置

        hdfs-site.xml HDFS属性配置

        mapred-site.xml MapReduce属性配置

        hadoop-env.sh hadoop环境变量配置

 

修改hadoop-env.conf-à加 export JAVA_HONME

 

其他的修改下载ppt看吧，不记了。

 

 

接下来启动hadoop，还是看ppt吧，ppt上挺全的；

 

在win上边就是玩玩，实际环境还是linux。

 

给大家个ppt地址：http://sishuok.com/forum/posts/list/5316.html

 

 

2、linux上装

ubuntu开发即可，之前用过，挺好的；

 

1、安装jdk，jdk需要下bin结尾的那个

2、配置JAVA_HOME及PATH环境变量，具体请参考ppt，加到.bashrc  然后运行 . .hashrc

 

 

步骤和win上差不多。还没装ubuntu系统，目前就用win的吧。

 

 

 

3、HadoopUI

50070端口-àhdfs   50030--àjobTracker

HDFS通信端口à9000  MapReduce通信端口à9001

 

管理界面 

  http://localhost:50070 hdfs

  http://localhost:50030 mapreduce

 

通过UI可操作如文件系统、日志

 

 

4、word counter

1、生成两个文件 如input/file1 input/file2

2、在HDFS上建个目录，如hadoop fs –mkdir /tmp/input

3、把file1、分file放入HDFS  hadoop fs –put input/* /tmp/input

4、查看 hadoop fs –ls /tmp/input

5、执行wordcounter

 hadoop jar hadoop-example-1.0.0.jar wordcounter  /tmp/input /tmp/output

6、运行完查看结果

 hadoop fs –cat /tmp/output/part –r -00000

 

5、集成Eclipse

1、添加jar包

2、复制配置文件

3、不要用插件

 

http://sishuok.com/forum/blogPost/list/0/6911.html