预留：大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）

爱吃面的猫

已于 2025-03-12 18:11:34 修改

阅读量1.2k

点赞数 20

分类专栏：大数据文章标签：笔记

于 2025-02-15 23:54:38 首次发布

本文链接：https://blog.csdn.net/qq_41946216/article/details/145659096

版权

传送门目录

2.1. 配置 hadoop-env.sh

2.2. 配置 core-site.xml

2.3. 配置hdfs-site.xml

2.4. 配置 yarn-site.xml

2.5. 配置 mapred-site.xml

2.6. 配置 workers（伪分布式不配置）

2.7 配置sbin下启停命令

3、复制hadoop到其他节点（伪分布式不执行此步）

前期准备

配置静态IP

vi /etc/syscnfig/network-scripts/ifcfg-eth1 ---- 根据自己网卡设置。

设置主机名

hostnamectl --static set-hostname 主机名

配置IP与主机名映射

vi /etc/hosts

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

配置免密登录

传送门

一、JDK的安装

1、安装jdk

sudo yum search openjdk

yum install java-1.8.0-openjdk.x86_64

yum install java-1.8.0-openjdk-devel.x86_64

2、配置Java环境变量

vi /etc/profile (~/.bash_profile 或 ~/.profile 或 ~/.bashrc 或 /etc/bashrc 或 /etc/bash.bashrc[在ubuntu 中的位置])

vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_11

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

3、加载环境变量

source /etc/profile

验证环境变量是否生效:

env | grep HOME

env | grep PATH

4、进行校验

二、hadoop的集群搭建

1、hadoop的下载安装

1.1. 下载

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/
下载 hadoop-3.3.4.tar.gz 安装包

1.2 上传
使用xshell上传到指定安装路径

此处是安装路径是 /usr/local

1.3 解压重命名

tar -xzvf hadoop-3.3.4.tar.gz

mv hadoop-3.3.4 hadoop

1.4 配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_11

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1.5 加载环境变量

source /etc/profile

验证环境变量是否生效:

env | grep HOME

env | grep PATH

1.6检验安装

hadoop version

出现下图说明安装成功

2、配置文件设置

2.1. 配置 hadoop-env.sh

hadoop伪分布式配置

export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}
export JAVA_HOME=/usr/local/jdk1.8.0_11

hadoop集群配置（root指的是用户名）

export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}
export JAVA_HOME=/usr/local/jdk1.8.0_11

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root

2.2. 配置 core-site.xml

<configuration>
   
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://hadoop001:9000</value>
       <description>配置NameNode的URL</description>
   </property>

   
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/hadoop/data</value>
   </property>

下面为可选项：
   
   <property>
       <name>hadoop.proxyuser.root.hosts</name>
       <value>*</value>
   </property>

   
   <property>
       <name>hadoop.proxyuser.root.groups</name>
       <value>*</value>
   </property>

   
   <property>
       <name>hadoop.proxyuser.root.users</name>
       <value>*</value>
   </property>
</configuration>

2.3. 配置hdfs-site.xml

以下配置集群和伪分布式均可用

<configuration>

   <property>
       <name>dfs.replication</name>
       <value>3</value>  
   <property>
       <name>dfs.namenode.http-address</name>
       <value>hadoop001:9870</value>
   </property>

   
   <property>
       <name>dfs.permissions.enabled </name>
       <value>false</value>
   </property>


<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoopdata/dfs/data</value>
</property>

下面为可选项：伪分布式和集群配置都可以使用，但区别是伪分布式时候，主机名为hadoop001，下面的hadoop003和hadoop002都要改为hadoop001.而集群则不需要改。

<property>

最低0.47元/天解锁文章