hadoop 伪分布搭建

1. 创建目录

mkdir /opt/soft

mkdir /opt/data

ls /opt

2.java配置

（1）上传 jdk 压缩文件到 soft 目录

（2）解压 jdk 压缩文件到 opt 目录，并将 jdk1.8.0_112 目录变为 jdk

cd /opt

tar -zxvf soft/jdk-8u202-linux-x64.tar.gz

mv jdk1.8.0_202/ jdk

（3）在 hadoop-eco.sh 中添加相关内容后，保存并退出

输入：vi /etc/profile.d/hadoop-eco.sh

添加：

JAVA_HOME=/opt/jdk

PATH=$JAVA_HOME/bin:$PATH

输入：source /etc/profile.d/hadoop-eco.sh

（4）查看java版本

输入：java -version

（5）免密操作：

生成密钥

输入：ssh-keygen -t rsa

将本机的公钥拷贝给其他机器

输入：ssh-copy-id -i root@localhost

3.hadoop配置

（1）上传 Hadoop 压缩文件到 soft 目录

（2）解压 Hadoop 压缩文件到 opt 目录，并将Hadoop.2.7.3 目录变为 Hadoop

cd /opt

tar –zxvf soft/hadoop.2.7.1.tar.gz

mv hadoop.2.7.1/ hadoop

（3）在 hadoop-eco.sh 中追加相关内容后，保存并退出。追加的内容如下：

输入：vi /etc/profile.d/hadoop-eco.sh

添加：

HADOOP_HOME=/opt/hadoop

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

输入：source /etc/profile.d/hadoop-eco.sh

1. 在创建分布式时，需先手动创建 Hadoop 工作需要的目录

先创建第一级目录

mkdir /opt/hadoop-record/

然后在hadoop-record里面创建四个目录

NameNode 数据存放目录：mkdir /opt/hadoop-record/name

SecondaryNameNode 数据存放目录：mkdir /opt/hadoop-record/secondary

DataNode 数据存放目录：mkdir /opt/hadoop-record/data

临时数据存放目录：mkdir /opt/hadoop-record/tmp

1. 配置hadoop

cd /opt/hadoop/etc/hadoop

hadoop-env.sh 的配置：修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk

yarn-env.sh 的配置：修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk

core-site.xml 的配置：

<configuration>

<!--NameNode 结点的 URI-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

<!-- 指定 Hadoop 运行时产生文件的存储路径 -->

<property>

<name>hadoop.tmp.dir</name>

<value>file:///opt/hadoop-record/tmp</value>

</property>

</configuration>

hdfs-site.xml 的配置：

<configuration>

<property>

<!-- 数据副本数量 -->

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<!-- namenode 数据存放地址 -->

<name>dfs.namenode.name.dir</name>

<value>file:///opt/hadoop-record/name</value>

</property>

<property>

<!-- datanode 数据存放地址 -->

<name>dfs.datanode.data.dir</name>

<value>file:///opt/hadoop-record/data</value>

</property>

</configuration>

mapred-site.xml 的配置：

<configuration>

<property>

<!--mapreduce 运行的平台，默认 Local-->

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

yarn-site.xml 的配置：

<configuration>

<property>

<!--resourcemanager 所在的机器 -->

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<propertyhad>

<!-- 所需要的服务 -->

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

1. 查看hadoop版本

输入： hadoop version

（7）格式化 NameNode

输入：hdfs namenode -format

（8）启动 HDFS

输入：start-dfs.sh

（9）启动 YARN

输入：start-yarn.sh

1. 关闭防火墙

systemtcl status firewalld.service

systemtcl stop firewalld.service