- 创建目录
mkdir /opt/soft
mkdir /opt/data
ls /opt
2.java配置
(1)上传 jdk 压缩文件到 soft 目录
(2)解压 jdk 压缩文件到 opt 目录,并将 jdk1.8.0_112 目录变为 jdk
cd /opt
tar -zxvf soft/jdk-8u202-linux-x64.tar.gz
mv jdk1.8.0_202/ jdk
(3)在 hadoop-eco.sh 中添加相关内容后,保存并退出
输入:vi /etc/profile.d/hadoop-eco.sh
添加:
JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
输入:source /etc/profile.d/hadoop-eco.sh
(4)查看java版本
输入:java -version
(5)免密操作:
生成密钥
输入:ssh-keygen -t rsa
将本机的公钥拷贝给其他机器
输入:ssh-copy-id -i root@localhost
3.hadoop配置
(1)上传 Hadoop 压缩文件到 soft 目录
(2)解压 Hadoop 压缩文件到 opt 目录,并将Hadoop.2.7.3 目录变为 Hadoop
cd /opt
tar –zxvf soft/hadoop.2.7.1.tar.gz
mv hadoop.2.7.1/ hadoop
(3)在 hadoop-eco.sh 中追加相关内容后,保存并退出。追加的内容如下:
输入:vi /etc/profile.d/hadoop-eco.sh
添加:
HADOOP_HOME=/opt/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
输入:source /etc/profile.d/hadoop-eco.sh
- 在创建分布式时,需先手动创建 Hadoop 工作需要的目录
先创建第一级目录
mkdir /opt/hadoop-record/
然后在hadoop-record里面创建四个目录
NameNode 数据存放目录:mkdir /opt/hadoop-record/name
SecondaryNameNode 数据存放目录:mkdir /opt/hadoop-record/secondary
DataNode 数据存放目录:mkdir /opt/hadoop-record/data
临时数据存放目录:mkdir /opt/hadoop-record/tmp
- 配置hadoop
cd /opt/hadoop/etc/hadoop
hadoop-env.sh 的配置:修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk
yarn-env.sh 的配置:修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk
core-site.xml 的配置:
<configuration>
<!--NameNode 结点的 URI-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定 Hadoop 运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:///opt/hadoop-record/tmp</value>
</property>
</configuration>
hdfs-site.xml 的配置:
<configuration>
<property>
<!-- 数据副本数量 -->
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<!-- namenode 数据存放地址 -->
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop-record/name</value>
</property>
<property>
<!-- datanode 数据存放地址 -->
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop-record/data</value>
</property>
</configuration>
mapred-site.xml 的配置:
<configuration>
<property>
<!--mapreduce 运行的平台,默认 Local-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml 的配置:
<configuration>
<property>
<!--resourcemanager 所在的机器 -->
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<propertyhad>
<!-- 所需要的服务 -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- 查看hadoop版本
输入: hadoop version
(7)格式化 NameNode
输入:hdfs namenode -format
(8)启动 HDFS
输入:start-dfs.sh
(9)启动 YARN
输入:start-yarn.sh
- 关闭防火墙
systemtcl status firewalld.service
systemtcl stop firewalld.service