如何部署hadoop集群

假设我们有三台服务器，他们的角色我们做如下划分：

10.96.21.120 master

10.96.21.119 slave1

10.96.21.121 slave2

接下来我们按照这个配置来部署hadoop集群。

1：安装jdk

下载解压。

vi /etc/profile

JAVA_HOME=/usr/java/jdk1.6.0_29

CLASS_PATH=$JAVA_HOME/lib:JAVA_HOME/jre/lib:JAVA_HOME/lib/tools.jar:$CLASS_PATH

PATH=$JAVA_HOME/bin:$PATH

if [ -z "$INPUTRC" -a ! -f "$HOME/.inputrc" ]; then
    INPUTRC=/etc/inputrc
fi

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC
export CLASS_PATH JAVA_HOME

判断是否安装成功。

java -version

javac

2：安装ssh

命令

yum -y install openssh-server openssh-clients

开启sshd服务

chkconfig sshd on
service sshd start

开启端口

/sbin/iptable -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
service iptables save

当然你也可以使22端口只接受某个ip的连接

/sbin/iptables -A INPUT -s 192.168.1.0/24 -m state --state NEW -p tcp --dport 22 -j ACCEPT
service iptables save

配置文件在： /etc/ssh/sshd config

英文地址：http://www.cyberciti.biz/faq/how-to-installing-and-using-ssh-client-server-in-linux/

3：设置host（三台机器都操作）

vi /etc/hosts

10.96.21.120    master
10.96.21.121    slave1
10.96.21.119    slave2

4：创建hadoop账户，并设置本机无密码登陆（三台机器都操作）

创建用户

useradd hadoop

设置密码为空

passwd -d hadoop

切换账户

su - hadoop

生成公私密钥

ssh-keygen -t rsa

到公钥所在的文件夹

cd ~
cd .ssh

追加公钥到信任区域

如果有authorized_keys文件则
cat id_rsa.pub>> authorized_keys
否则
cp id_rsa.pub authorized_keys

测试本机无密码登陆

ssh -p 22 localhost

5：设置master到slave的无密码登陆

到hadoop用户的ssh文件夹(master操作)

su - hadoop
cd ~
cd .ssh

复制公钥到slave1，slave2(master操作)

scp -P 60022 id_rsa.pub root@10.96.21.121:/home/hadoop/.ssh/10.96.21.120
scp -P 60022 id_rsa.pub root@10.96.21.119:/home/hadoop/.ssh/10.96.21.120

添加master的公钥到的slave1，slave2信任区域（slave1,slave2上操作）

su - hadoop
cd ~
cd .ssh

cat 10.96.21.120 >> authorized_keys

启动sshd客户端(master操作)

ssh-agent

添加id_rsa到ssh-agent（添加私钥到客户端）(master操作)

ssh-add id_rsa

验证

ssh -p 60022 slave1
ssh -p 60022 slave2

6：设置hadoop

配置hadoop-env.sh （三台机器都操作）

vi hadoop-env.sh

export JAVA_HOME=/soft/jdk1.7.0_21
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export HADOOP_SSH_OPTS="-p 60022"

配置core-site.xml（三台机器都操作）

 vi core-site.xml

<property>
  <name>fs.default.name</name>
  <value>hdfs://master:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/app/hadoop</value>
</property>

配置hdfs-site.xml（三台机器都操作）

vi hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>

配置mapred-site.xml（三台机器上操作）

<property>
  <name>mapred.job.tracker</name>
  <value>master:54311</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>

配置master(master上操作)

vi masters
master

配置slave(master上操作)

vi slaves
slave1
slave2

设置hadoop用到的目录的权限

mkdir /app/hadoop
chmod 777 /app/hadoop

chmod 777 /soft/hadoop (hadoop所在的目录，默认日志要建立在这里)

7：启动集群

格式名称节点（master上操作）

bin/hadoop namenode -format

开启文件系统（master上操作）

bin/start-dfs.sh

开启map

bin/start-mapred.sh

验证

master

26463 Jps
24660 NameNode
25417 JobTracker
24842 SecondaryNameNode

slave

23823 TaskTracker
4636 DataNode
23964 Jps

 

执行mapreduce程序用到的命令

bin/hadoop fs -rmr output  [删除文件夹]
bin/hadoop fs -mkdir input  [创建文件夹]
bin/hadoop fs -put /soft/hadoop/file.txt input
bin/hadoop fs -get /user/hadoop/output/part-r-00000

 

 如果要用到第三方类库{比如把结果写到redis中}需要把类库放到每台服务器的lib文件夹下。

 注意hostname名称一致

 ssh只需要master到slave连通就行，不需要slave之间连通

 关闭防火墙

错误：name node is in safe mode hadoop

解决：bin/hadoop dfsadmin -safemode leave

 

hdfs的web管理界面是http://10.96.21.120:50070/dfshealth.jsp