hadoop安装

Hadoop 安装流程

• Hadoop 安装流程
  • 使用版本 3.3.4
  • 解压后配置环境变量
  • 修改环境配置文件

使用版本 3.3.4

下载地址

权限

需要保证集群机器之间互相访问不需要密码

HADOOP 环境变量

vim /etc/profile

export HADOOP_HOME=/解压目录/hadoop-3.3.4
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export PATH=${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin:$PATH

修改环境配置文件

hadoop-env 环境配置

cd /解压目录/hadoop-3.3.4/etc/hadoop
vim hadoop-env.sh

export JAVA_HOME=jdk安装目录,目前最高支持jdk8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

worker 配置文件

vim workers
# 将localhost去掉添加如下内容
hadoop1
hadoop2

需要把所有数据节点的主机名写入workers文件，默认为localhost(即把本机作为数据节点)
在伪分布式配置时，就采用了这种默认的配置，使得节点既作为名称节点也作为数据节点。
在进行分布式配置时，可以保留localhost，让hadoop1节点同时充当名称节点和数据节点,
或者也可以删掉localhost这行，让hadoop1节点仅作为名称节点使用。

core-site.xml 核心站点配置，即 hadoop 服务

vim core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
    	<value>hdfs://hadoop1:8020</value>
	</property>
	<property>
		 <name>hadoop.tmp.dir</name>
		 <value>file:/data/hadoop-3.3.4/tmp</value>
	</property>
</configuration>

hdfs-site.xml hdfs 站点配置

vim hdfs-site.xml
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop1:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <!--2个副本-->
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/data/hadoop-3.3.4/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/data/hadoop-3.3.4/tmp/dfs/data</value>
        </property>
</configuration>

maprds-site.xml mapreduce 站点配置

vim maprds-site.xml

<configuration>
  <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop1:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>hadoop1:19888</value>
  </property>
  <property>
          <name>yarn.app.mapreduce.am.env</name>
          <value>HADOOP_MAPRED_HOME=/data/hadoop-3.3.4</value>
  </property>
  <property>
          <name>mapreduce.map.env</name>
          <value>HADOOP_MAPRED_HOME=/data/hadoop-3.3.4</value>
  </property>
  <property>
          <name>mapreduce.reduce.env</name>
          <value>HADOOP_MAPRED_HOME=/data/hadoop-3.3.4</value>
  </property>
</configuration>

yarn-site.xml yarn 站点配置

vim yarn-site.xml

<configuration>
  <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>hadoop1</value>
  </property>
  <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
  </property>
</configuration>

打包 copy 到其他站点

rm -rf /data/hadoop-3.3.4/tmp
rm -rf /data/hadoop-3.3.4/logs/*
tar -zcf hadoop-3.3.4.tar.gz hadoop-3.3.4
scp hadoop-3.3.4.tar.gz hadoop2:/data

在其他节点操作解压

cd /data
tar -czvf hadoop-3.3.4.tar.gz

节点名词格式化

hdfs namenode -format

启动节点

start-dfs.sh
start-yarn.sh

说明

1. 使用 jdk8 版本
2. 主节点启动启动完成后有
   DataNode,NameNode,ResourceManager,NodeManager,SecondaryNameNode 服务
3. 需要各个节点免密登陆
4. 需要节点支持本机免密
5. 如不使用 root 账户，需要对应账户有 hadoop 的所有权限，免密登陆等操作
6. jps 命令可查看 java 启动的所有进程