hadoop分布式集群搭建 (学习交流请加群:385215695)
1.安装jdk
root 用户
mkdir /usr/java/
cp -r jdk-8u101-linux-x64.tar.gz /usr/java
tar -zxvf jdk-8u101-linux-x64.tar.gz
vi /etc/profile 末尾增加
export JAVA_HOME=/usr/java/jdk1.8.0_101
export JAVA_BIN=/usr/java/jdk1.8.0_101/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
export PATH=/usr/java/jdk1.8.0_101/bin:$PATH
export PATH JAVA_HOME CLASSPATH
source /etc/profile
java -version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
一、Hadoop安装
以下操作,均使用root用户
1 主机名与IP地址映射关系配置
Master节点上,执行如下命令:
#vi /etc/hosts
在文件最后,输入如下内容:
192.168.58.10 master.localdomain
192.168.58.11 slave1.localdomain
192.168.58.12 slave2.localdomain
保存,退出,然后通过scp命令,将配置好的文件拷贝其他两个Slave节点:
#scp /etc/hosts
root@slave1:/etc
#scp /etc/hosts
root@slave2:/etc
2 SSH免登陆配置
#ssh-keygen -t rsa 每台都执行
一直回车
/.合并公钥到authorized_keys文件,在Master服务器,进入/root/.ssh目录,通过SSH命令合并,
cat id_rsa.pub>> authorized_keys
ssh
root@192.168.58.11 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh
root@192.168.58.12 cat ~/.ssh/id_rsa.pub >> authorized_keys
把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录
对每一个节点都发送这个认证文件后:执行 chmod 600 ~/.ssh/authorized_keys
通过#ssh slave1.localdomain ssh
root@192.168.58.11测试是否配置成功,如果不需要输入密码,则证明配置成功./
或者 分别拷贝到Master以及Slave节点:
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
3.Hadoop安装文件上传到Master及两个Slave的/usr目录下
tar -zxvf hadoop-2.7.3.tar.gz
4.在Master上,使用Vi编辑器,设置环境变量
# vi /etc/profile
在文件最后,添加如下内容:
# Hadoop Env
export HADOOP_HOME=/usr/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
source /etc/profile
在slave上执行同样的操作
5.查看Hadoop版本信息
hadoop version
Hadoop 2.7.3
Subversion
https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /usr/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.jar
二、hadoop配置
以下操作均在Master节点,配置完后,使用scp命令,将配置文件拷贝到两个Slave节点即可。
切换到/usr/hadoop-2.7.3/etc/hadoop/目录下,修改如下文件:
1 hadoop-env.sh
在文件最后,增加如下配置:
export JAVA_HOME=/usr/java/jdk1.8.0_101
export HADOOP_PREFIX=/usr/hadoop-2.7.3
2 yarn-env.sh
在文件最后,增加如下配置:
export JAVA_HOME=/usr/java/jdk1.8.0_101
3 core-site.xml
创建tmp目录:#mkdir /usr/hadoop-2.7.3/tmp 三个都建
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop-2.7.3/tmp</value>
</property>
</configuration>
4 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
5 mapred-site.xml 2.7.3没有此文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
7 slaves
master
slave1
slave2
8 拷贝配置文件到两个Slave节点
在Master节点,执行如下命令:
# scp -r /usr/hadoop-2.7.3/etc/hadoop/
root@slave1:/usr/hadoop-2.7.3/etc/
# scp -r /usr/hadoop-2.7.3/etc/hadoop/
root@slave2:/usr/hadoop-2.7.3/etc/
三、hadoop使用
1 格式化NameNode
Master节点上,执行如下命令
#hdfs namenode -format
WARN net.DNS: Unable to determine address of the host-falling back to "localhost" address
java.net.UnknownHostException: master.localdomain: master.localdomain: unknown error
修改/etc/sysconfig/network中HOSTNAME的值为master,或者自己指定的主机名,保证localhost在/etc/hosts文件中映射为正确的IP地址,然后重新启动网络服务:
[
root@localhost bin]# /etc/rc.d/init.d/network restart 或者 service network restart
2 启动HDFS(NameNode、DataNode)
Master节点上,执行如下命令
#start-dfs.sh 报错 找不到命令
设置环境变量
vi ~/.bash_profile
#set hadoop path
export HADOOP_HOME=/usr/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
source ~/.bash_profile
配置.bashrc
#HADOOP VARIABLES START
export JAVA_HOME=/usr/java/jdk1.8.0_101
export HADOOP_INSTALL=/usr/hadoop-2.7.3
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
source ~/.bashrc
使用jps命令,分别在Master以及两个Slave上查看Java进程
可以在Master上看到如下进程:
34225 SecondaryNameNode
33922 NameNode
34028 DataNode
49534 Jps
在两个Slave上,看到如下进程:
34028 DataNode
49534 Jps
3 启动 Yarn(ResourceManager 、NodeManager)
Master节点上,执行如下命令
#start-yarn.sh
使用jps命令,分别在Master以及两个Slave上查看Java进程
可以在Master上看到如下进程:
34225 SecondaryNameNode
33922 NameNode
34632 NodeManager
34523 ResourceManager
34028 DataNode
49534 Jps
在两个Slave上,看到如下进程:
34632 NodeManager
34028 DataNode
49534 Jps
4 通过浏览器查看HDFS信息
浏览器中,输入
http://master:50070 或者8088
5 停止Yarn及HDFS
#stop-yarn.sh
#stop-dfs.sh
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29615265/viewspace-2139617/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/29615265/viewspace-2139617/