简单离线数仓搭建-Hadoop组件搭建

Hadoop 3.1.3 安装文档

1. 准备工作

在安装 Hadoop 之前，请确保以下准备工作已完成：

• CentOS 操作系统已安装并运行
• JDK 1.8 已安装并配置好环境变量
• 下载 Hadoop 3.1.3 版本的安装包 hadoop-3.1.3.tar.gz
• 确保有 root 用户权限进行安装

2. 安装步骤

2.1 解压和移动安装包

# 解压安装包
tar -zxf /opt/hadoop-3.1.3.tar.gz -C /opt

# 移动到指定目录并重命名
mv /opt/hadoop-3.1.3 /opt/soft/hadoop313

2.2 配置 Java 环境

# 设置 Java 环境变量
sed -i 's/expor8t JAVA_HOME=\${JAVA_HOME}/export JAVA_HOME=\/opt\/soft\/jdk180/' /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh

2.3 配置 core-site.xml

# 配置默认文件系统和临时目录
t1="    <property>"
t2="        <name>fs.defaultFS</name>"
t3="        <value>hdfs://<Your_IP>:9000</value>"
t4="    </property>"
t5="    <property>"
t6="        <name>hadoop.tmp.dir</name>"
t7="        <value>/opt/soft/hadoop313/tmp</value>"
t8="    </property>"
sed -i "/<\/configuration>/i\\$t1\n$t2\n$t3\n$t4\n$t5\n$t6\n$t7\n$t8" /opt/soft/hadoop313/etc/hadoop/core-site.xml

2.4 配置 hdfs-site.xml

# 设置副本数
t1="    <property>"
t2="        <name>dfs.replication</name>"
t3="        <value>1</value>"
t4="    </property>"
sed -i "/<\/configuration>/i\\$t1\n$t2\n$t3\n$t4" /opt/soft/hadoop313/etc/hadoop/hdfs-site.xml

2.5 配置 mapred-site.xml

# 配置 MapReduce 框架
cp /opt/soft/hadoop313/etc/hadoop/mapred-site.xml.template /opt/soft/hadoop313/etc/hadoop/mapred-site.xml
t1="    <property>"
t2="        <name>mapreduce.framework.name</name>"
t3="        <value>yarn</value>"
t4="    </property>"
sed -i "/<\/configuration>/i\\$t1\n$t2\n$t3\n$t4" /opt/soft/hadoop313/etc/hadoop/mapred-site.xml

2.6 配置 yarn-site.xml

# 设置 ResourceManager 地址和 NodeManager 参数
t1="    <property>"
t2="        <name>yarn.resourcemanager.localhost</name>"
t3="        <value><Your_IP></value>"
t4="    </property>"
t5="    <property>"
t6="        <name>yarn.nodemanager.aux-services</name>"
t7="        <value>mapreduce_shuffle</value>"
t7="    </property>"
sed -i "/<\/configuration>/i\\$t1\n$t2\n$t3\n$t4\n$t5\n$t6\n$t7\n$t8" /opt/soft/hadoop313/etc/hadoop/yarn-site.xml

2.7 配置hadoop-env.sh

echo "export HDFS_NAMENODE_USER=root" >> /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh
echo "export HDFS_DATANODE_USER=root" >> /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh
echo "export HDFS_SECONDARYNAMENODE_USER=root" >> /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh
echo "export YARN_RESOURCEMANAGER_USER=root" >> /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh
echo "export YARN_NODEMANAGER_USER=root" >> /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh
echo "export JAVA_HOME=/opt/soft/jdk180" >> /opt/soft/hadoop313/etc/hadoop/hadoop-env.sh

2.8 更新 hosts 文件

# 将集群主机名和 IP 地址添加到 hosts 文件
echo "<Your_IP> <Your_Cluster_Name>" >> /etc/hosts

2.9 设置环境变量

# 将 Hadoop 环境变量添加到系统 profile 文件中
echo '# Hadoop Env' >> /etc/profile
echo 'export HADOOP_HOME=/opt/soft/hadoop313' >> /etc/profile
echo 'export HADOOP_MAPRED_HOME=$HADOOP_HOME' >> /etc/profile
echo 'export HADOOP_COMMON_HOME=$HADOOP_HOME' >> /etc/profile
echo 'export HADOOP_HDFS_HOME=$HADOOP_HOME' >> /etc/profile
echo 'export YARN_HOME=$HADOOP_HOME' >> /etc/profile
echo 'export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin' >> /etc/profile
echo 'export HADOOP_INSTALL=$HADOOP_HOME' >> /etc/profile

3. 完成安装

3.1 设置 SSH 免密码登录

# 生成 SSH 密钥（一路回车）
ssh-keygen -t rsa -P ''

# 将 SSH 公钥复制到集群节点
ssh-copy-id -i /root/.ssh/id_rsa.pub root@<Your_IP>

输入yes后回车，然后输入密码，最后如图便成功

3.2 初始化 HDFS 和启动集群

# 刷新环境变量并初始化 HDFS
source /etc/profile
hdfs namenode -format

如图显示便成功初始化

# 启动 Hadoop 集群
start-dfs.sh

成功启动

通过9870端口进入HDFS界面

3.3 关闭集群

# 关闭 Hadoop 集群
stop-all.sh

以上是在 CentOS 系统上安装和配置 Hadoop 3.1.3 的详细步骤。确保按照顺序执行每一步骤，并根据实际情况替换 <Your_IP> 和 <Your_Cluster_Name>。