菜鸟配置hadoop--Hadoop配置

配置ssh免密码登录：此部分来自互联网

输入命令:

sudo apt-get install ssh

配置可以无密码登陆本机：

在当前用户目录下新建隐藏文件.ssh,输入命令：

mkdir .ssh

接下来，输入命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

执行完显示如下图，则表示执行该命令成功

 

这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是一对私钥和公钥，然后把id_dsa.pub(公钥)追加到授权的key里面去，输入命令：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证ssh已安装成功及无密码登陆本机，输入命令：

ssh -version

显示结果：

Bad escape character 'rsion'.

这显示ssh已经安装成功。

登陆ssh，输入命令：

ssh localhost

第一次登陆可能会询问是否继续链接，输入yes即可，以后登陆直接登进去。

显示结果：

Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

Last login: Sun Oct 12 13:27:58 2014 from localhost

 

 

安装hadoop2.6.0

 

解压hadoop-2.6.0.tar.gz，并重命名为hadoop

tar xzvf hadoop-2.6.0.tar.gz
mv hadoop-2.6.0 hadoop

 

配置环境变量

 

vi /etc/profile

还得使用vi命令，抓狂啊。

需要编辑成如下这样：

 

修改Hadoop配置文件

 

先在当前用户目录下（与hadoop平行的位置）创建文件夹hadoop_tmp,输入命令：

mkdir hadoop_tmp

下面修改配置文件，所有配置文件都在hadoop/etc/hadoop下面

首先修改:hadoop-env.sh如下面这样：

主要就是修改JAVA_HOME

 

修改core-site.xml

修改hdfs-site.xml:

 

修改mapred-site.xml

修改yarn-site.xml:

 

修改slaves文件

localhost

默认就是localhost,所以不用修改。

 

启动伪分布式模式：

 

第一次启动都要格式化下数据文件，命令：

 

./bin/hdfs namenode -format

启动hadoop,命令：

 

输入命名：

start-yarn.sh

则在网页里可看到如下页面

 

输入命令:

start-dfs.sh

则在网页里可看到如下页面

输入命令:

mr-jobhistory-daemon.sh start historyserver

则在网页里可看到如下页面

也可以输入jps命令查看各个服务运行状态:

 

 

到此为止，hadoop的伪分布式安装配置完毕。