Hadoop 安装 搭建配置流程 （笔记）

准备好linux 、NAT配置、同步时间、ssh免密登陆。。

一、安装jdk

#输入 java -version   查看是否有系统自带的 java

   用 rpm -e --nodeps  xxxxx   将上述java删除

#hadoop 2.7以上的版本需要jdk1.7

  我用的是jdk-8u201-linux-x64.tar.gz  jdk1.8.0版本。

#上传安装包到linux系统  

#解压安装包   

tar -zxvf jdk-8u201-linux-x64.tar.gz /root/java    我把它解压在了/root/java 文件夹下 ，感觉最好还是放在/opt下吧（/opt：给主机额外安装软件所摆放的目录）

#解压好之后配置环境变量

vim /etc/profile   在文件最上方加上

 export JAVA_HOME=/root/java/jdk1.8.0_201
 export PATH=$PATH:$JAVA_HOME/bin:
 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#刷新配置文件

source /etc/profile    java -version  查看安装是否成功

[root@node-1 ~]# java -version
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)

# 用 scp -r /源路径 root@地址:/目标路径      可以将一台主机的文件复制到另一台主机     方便在每一台上配置

scp -r /home/space/music/ root@www.runoob.com:/home/root/others/ 

二、安装hadoop  

hadoop 包有两种 ，source 源码包和binary二进制包（已编译）。binary包据说编译的32位环境，在64位运行会出现警告信息，但编译太麻烦，此处选择的是hadoop-2.8.0.tar.gz  binary包

想要自己编译参考https://www.cnblogs.com/duking1991/p/6104304.html

#下载好安装包用tar 命令进行解压

配置环境变量

export JAVA_HOME=/root/java/jdk1.8.0_201
export HADOOP_HOME=/root/hadoop/hadoop-2.8.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#修改配置文件

进入解压好的目录中  /etc下的hadoop目录

配置core-site.xml

<configuration>
    <!-- 指定hadoop所用的文件系统，HDFS的老大（namenode）的通信地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node-1:8080</value>
</property>
<property>
    <!-- 指定hadoop运行时产生文件的储存目录-->
	<name>hadoop.tmp.dir</name>
	<value>/root/hadoop/hadoop-2.8.0/tmp</value>
</property>
</configuration>

配置hdfs-site-xml

<configuration>
<property>
<!--指定block副本的数量-->
 <name>dfs.replication</name>   
 <value>1</value>
</property>
<property>
<!--存放元数据-->
<name>dfs.namenode.name.dir</name>
<value>/root/hadoop/had/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hadoop/had/dfs/data</value>
</property>
</configuration>

配置mapred-site-xml

<configuration>
<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

配置 yarn-site-xml

<configuration>
<!--指定yarn的老大resourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node-1</value>
</property>

<!-- Site specific YARN configuration properties -->
<!-- 附属服务 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
</configuration>

#修改slaves文件  将主机名写入

格式化hdfs    首次启动需要进行格式化，创建一些自己所需的文件。

格式化之后，集群启动成功 ，后续不用再进行格式化

hadoop namenode -format   或者 hdfs namenode -format

格式化成功。

启动hadoop

进入 回到hadoop目录   sbin/start-dfs.sh  

yarn:     sbin/start-yarn.sh    

启动后用jps 查看是否成功