在CentOS6.4 下以单机伪分布式模式安装hadoop2.7.1
本文记录了我在Centos6.4 下以单机伪分布式模式安装hadoop2.7.1的详细过程,适合于hadoop入门使用。本文主要参考步骤来源自http://dblab.xmu.edu.cn/blog/install-hadoop/
- 安装CentOS-6.4-x86_64(略)
- hadoop增加管理员操作权限
- 安装java
- 安装hadoop
- 配置ssh
- 设置防火墙
- 修改HOST映射
安装CentOS-6.4-x86_64
安装过程略,我是用vmware进行安装,用户名设置为hadoop
hadoop增加管理员操作权限
$ sudo adduser hadoop sudo
如遇到 “is not in the sudoers file”的问题,解决方案如下:
1、切换到root用户
$ su -
$ visudo
2、移动光标,到最后一行
3、按a,进入append模式
4、输入
your_user_name ALL=(ALL) ALL
5、按Esc
6、输入“:w”(保存文件)
7、输入“:q”(退出)
这样就把自己加入了sudo组,可以使用sudo命令了。
安装java
将jdk-7u76-linux-x64.tar.gz拷贝到CentOS中去,如桌面。将java安装在/usr/java中
$ cd /home/hadoop/Desktop
$ sudo sudo tar -zxvf ./jdk-7u76-linux-x64.tar.gz -C /usr
$ cd /usr/
$ sudo mv ./jdk-7u76-linux-x64/ ./java
$ sudo chown -R hadoop:hadoop ./java
java解压缩后可以使用,输入以下命令判断java是否可用:
$ cd ./java
$ ./bin/java
在~/.bashrc 中配置java运行环境变量
$ vi ~/.bashrc
在文件最前面添加如下单独一行(注意 = 号前后不能有空格),并保存:
export JAVA_HOME=/usr/java
让该环境变量生效,需要执行以下代码,看能否正确输出JAVA_HOME的值
$ source ~/.bashrc
$ echo $JAVA_HOME
安装hadoop
将下载好的hadoop-2.7.1.tar.gz拷贝到CentOS系统中(如桌面),然后执行安装。
$ cd /home/hadoop/Desktop
$ sudo tar -zxvf ./hadoop-2.7.1.tar.gz -C /usr/local
$ cd /usr/local/
$ sudo mv ./hadoop-2.7.1/ ./hadoop
$ sudo chown -R hadoop:hadoop ./hadoop
Hadoop解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示命令用法
$ cd ./hadoop
$ ./bin/hadoop
配置环境变量PATH
$ vi ~/.bashrc
在文件最前面加入如下单独一行
export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin:/usr/java/bin
让该环境变量生效,需要执行以下代码
$ source ~/.bashrc
Hadoop伪分布式配置
伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。
修改配置文件 core-site.xml
$ vi /usr/local/hadoop/etc/hadoop/core-site.xml
修改成如下配置:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
同样的,修改配置文件 hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
配置ssh免密码登陆
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ export HADOOP\_PREFIX=/usr/local/hadoop
按此方式设置后,仍然无法实现免密码登陆,需要再进行如下设置:
$ chown hadoop: /home/hadoop/.ssh
$ chown hadoop: /home/hadoop/.ssh/*
$ chmod 700 /home/hadoop/.ssh
$ chmod 600 /home/hadoop/.ssh/*
安装后,可以使用如下命令登陆本机:
$ ssh localhost
$ exit
配置防火墙
如果我们要远程连接此台机器的话,需要保证9000端口开放。因此可以直接设置将防火墙关闭。
1) 永久性生效,重启后不会复原
开启: chkconfig iptables on
关闭: chkconfig iptables off
2) 即时生效,重启后复原
开启: service iptables start
关闭: service iptables stop
修改host映射
如果我们要远程连接此台机器的话,必须将hostname映射的IP地址改为本机的地址
$ sudo vi /etc/hosts
将127.0.0.1 改为本机实际IP地址
将::1 localhost ….这行注释掉