linux平台下的hadoop环境搭建（伪分布式）

浏览了网上许多搭建hadoop平台的文章，发现都不怎么详细，就像写一篇稍微详细一点的blog，服务大众也方便自己！

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

1.新疆用户hadooptest：

2.安装jdk

a.官网下载jdk并解压（我的版本是jdk1.8.0_31，放在usr/local/java路径下）

b.配置/etc/profile，在文件末尾加上如图代码

c.输入:source /etc/profile使快速生效，输入java -version显示如图所示信息则说明安装成功

3.安装ssh并配置无密码登陆

a.安装ssh：sudo apt-get install ssh

b.查看当前用户下是否存在.ssh文件夹，如果没有手动创建

c.输入命令：

	ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

解释一下，ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思，即密钥类型;-P用于提供密语;-f指定 生成的密钥文件。(关于密钥密语的相关知识这里就不详细介绍了，里面会涉及SSH的一些知识，如果读者有兴趣，可以自行查阅资料。)

在Ubuntu中，~代表当前用户文件夹，这里即/home/u。

这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是SSH的一对私钥和公钥，类似于钥匙及锁，把id_dsa.pub(公钥)追加到授权的k ey里面去。

d.输入命令：

	cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

这段话的意思是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。

至此无密码登录本机已设置完毕。

e.验证SSH是否已安装成功，以及是否可以无密码登录本机。

输入命令：

	ssh -version

	ssh localhost

	具体如图：

4.安装hadoop

a.下载hadoop-0.20.2解压至用户主文件下，tar -zxvf filename -C 要解压的路径

b.修改hadoop-0.20.2/conf/hadoop-env.sh

c.修改hadoop-0.20.2/conf/下的core-site.xml,hdfs-site.xml,mapred-site.xml

d.格式化namenode,datanode:bin/hadoop namenode -format;bin/hadoop datanode -format

e. 启动hadoop进程：bin/start-all.sh;查看进程启动情况：jps；查看集群状态：bin/hadoop dfsadmin -report（换了个用户，但是效果是一样的，见谅）

5.测试，

在hadoop文件夹下创建test目录，在test目录下创建文件file01，file02，并输入一些单词

在hdfs分布式文件系统创建目录input：bin/hadoop fs -mkdir input；之后可以使用bin/hadoop fs -ls查看
ps：删除目录：bin/hadoop fs -rmr ***；删除文件：bin/hadoop fs -rm ***
离开hodoop的安全模式：bin/hadoop dfsadmin -safemode leave
将文本文件放入hdfs分布式文件系统中：bin/hadoop fs -put /home/用户名/hadoop-0.20.2

执行例子中的WordCount：bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

查看执行结果:bin/hadoop dfs -cat output/*

关闭hadoop所有进程:bin/stop-all.sh

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

PS：终于完成了，期间参考了不少blog，引用了一些他人的成果，感谢！ （写的好累的博客。。。。。）