Hadoop集群搭建

Hadoop集群搭建

一、安装jdk

百度网盘（集群所需文件）：

链接：https://pan.baidu.com/s/1j5WcNyJEgwSilQe4fjlN9w
提取码：MHYS

1、检查jdk

rpm -qa|grep jdk

2、移出现有jdk

yum -y remove java-1.*

3、创建目录 /opt/soft /opt/data

mkdir /opt/soft
mkdir /opt/data

4、上传jdk.tar.gz

目录下右键上传，选择文件

5、解压 当前目录/opt

pwd  // /opt

tar -zxvf soft/jdk-8u112-linux-x64.tar.gz

6、查看解压结果 （当前在/opt下）

ls 

7、重命名并查看结果

mv jdk1.8.0_112/ jdk 

ls
8、创建配置文件

vim /etc/profile.d/hadoop-eco.sh

9、编辑内容

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH

10、使配置文件生效

source /etc/profile.d/hadoop-eco.sh

11、查看java版本

java -version

二、设置ssh免密登录

1、生成密钥

ssh-keygen -t rsa

2、拷贝密钥

ssh-copy-id -i root@localhost（根据实际情况修改）

输入root密码

3、验证是否成功

ssh 'root@localhost'  连上即为成功

三、安装hadoop

1、解压hadoop

cd /opt
tar -zxvf soft/hadoop-2.7.3.tar.gz

2、查看是否解压成功

ls

3、重命名hadoop

mv hadoop-2.7.3/ hadoop

4、配置环境变量

vim /etc/profile.d/hadoop-eco.sh

5、增加内容

HADOOP_HOME=/opt/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

6、使环境变量生效source

source /etc/profile.d/hadoop-eco.sh

7、查看环境变量

echo $PATH

8、创建hadoop节点目录

mkdir -p /opt/hadoop-record/name
mkdir  /opt/hadoop-record/secondary
mkdir  /opt/hadoop-record/data
mkdir  /opt/hadoop-record/tmp

9、修改配置文件(/opt/hadoop/etc/hadoop)

（1）hadoop-env.sh 的配置：修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk
（2）yarn-env.sh 的配置：修改 JAVA_HOME 的地址为 JAVA_HOME=/opt/jdk

（3）core-site.xml 的配置：

<configuration>
  <!--NameNode 结点的 URI-->
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
  </property>
  <!-- 指定 Hadoop 运行时产生文件的存储路径 -->
  <property>
  <name>hadoop.tmp.dir</name>
  <value>file:///opt/hadoop-record/tmp</value>
  </property>
</configuration>

(4)hdfs-site.xml

<configuration>
  <property>
  <!-- 数据副本数量 -->
  <name>dfs.replication</name>
  <value>1</value>
  </property>
  <property>
  <!-- namenode 数据存放地址 -->
  <name>dfs.namenode.name.dir</name>
  <value>file:///opt/hadoop-record/name</value>
  </property>
  <property>
  <!-- datanode 数据存放地址 -->
  <name>dfs.datanode.data.dir</name>
  <value>file:///opt/hadoop-record/data</value>
  </property>
</configuration>

(5)mapred-site.xml

<configuration>
  <property>
  <!--mapreduce 运行的平台，默认 Local-->
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
</configuration>

(6)yarn-site.xml

<configuration>
  <property>
  <!--resourcemanager 所在的机器 -->
  <name>yarn.resourcemanager.hostname</name>
  <value>localhost</value>
  </property>
  <property>
  <!-- 所需要的服务 -->
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
</configuration>

6、查看Hadoop版本

hadoop version

7、启动Hadoop

hdfs namenode -format  //对name节点进行格式化

启动dfs：

start-dfs.sh

8、查看进程jps

jps

4个进程

NameNode
DataNode
SecondaryNameNode
jps

9、启动yarn

start-yarn.sh

10、查看进程jps
6个进程

ResourceManager
SecondaryNameNode
DataNode
NameNode
NodeManager
jps

11、打开浏览器

localhost:50070