Hadoop搭建（伪分布最简）详细版

目录

1.准备好虚拟机，为了更方便使用这里用了xshell链接提取码：k5y5远程连接

1.1.准备环境

 2.配置文件

2.1.默认配置文件解压​编辑

2.2修改hadoop1的Hadoop配置，涉及7个文件：（仅在hadoop1上做以下修改）cd /opt/module/hadoop-3.1.3/etc/hadoop/

 2.3.hdfs namenode -format（格式化）

 2.4.start-all.sh(start-dfs.sh/start-yarn.sh分别启动)Hadoop3特有的，添加进环境变量

---

1.准备好虚拟机，为了更方便使用这里用了xshell链接提取码：k5y5远程连接

1.1.准备环境

创建一个名为hadoop1的虚拟机，并在虚拟机上完成JDK和Hadoop的安装，并配置环境变量到所有用户/etc/profile中。

1. 通过xmanager的Xftp上传hadoop-3.1.3.tar.gz文件和jdk-8u212-linux-x64.tar.gz文件到/opt/software目录

没有/opt/software目录新建

mkdir -p /opt/software

2. 解压缩hadoop-3.1.3.tar.gz文件和jdk-8u212-linux-x64.tar.gz文件到/opt/module/目录,并配置环境变量，每次修改环境都要source /etc/profile使环境生效

tar -zxf jdk-8u212-linux-x64.tar.gz -C /opt/module/

 tar -zxf hadoop-3.1.3.tar.gz -C /opt/module/

vim /etc/profile

export HADOOP_HOME=/opt/module/hadoop-3.1.3
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

验证Java和Hadoop是否配好（java -version，hadoop version）

注意事项：

如果java -verison之后出现的不是自己安装的java版本，比如如下图

 这说明本身系统已经自带了jdk环境

处理方式如下：

输入该指令rpm -qa |grep java查看

 接下来依次将它们卸载

yum remove -y java-1.8.0-openjdk-headless-1.8.0.242.b08-1.el7.x86_64

之后再次查看java –version，出现以下显示，代表java安装成功

 2.配置文件

2.1.默认配置文件解压

 注意：

• common路径下的hadoop-common-x.x.x.jar
• hdfs下的hdfs-hdfs-x.x.x.jar
• mapreduce下的hadoop-mapreduce-client-core-x.x.x.jar
• yarn下的hadoop-yarn-common-x.x.x.jar

 通过jar命令进行解压

jar -xf hadoop-common-3.1.3.jar

 vim查找

• / 作用：从上往下找
• ?作用：从下往上找

2.2修改hadoop1的Hadoop配置，涉及6个文件：（仅在hadoop1上做以下修改）cd /opt/module/hadoop-3.1.3/etc/hadoop/

依次修改下面的文件：

2.2.1.core-site.xml文件

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop1:9000</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-3.1.3/tmp</value>
  <description>A base for other temporary directories.</description>
</property>

 2.2.2.hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>

2.2.3.mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  <description>The runtime framework for executing MapReduce jobs.
  Can be one of local, classic or yarn.
  </description>
</property>

2.2.4.yarn-site.xml

  <property>
    <description>A comma separated list of services where service name should only
      contain a-zA-Z0-9_ and can not start with numbers</description>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

2.2.5.hadoop-env.sh（java的执行路径）

export JAVA_HOME=/opt/module/jdk1.8.0_212

2.2.6.vim workers修改主机名

 2.3.hdfs namenode -format（格式化）

 2.4.start-all.sh(start-dfs.sh/start-yarn.sh分别启动)Hadoop3特有的，添加进环境变量

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

 source /etc/profile

重新start-all.sh,若出现一下内容，启动失败

 vim /etc/hosts新增IP地址和主机名

给自己做免密

 ssh-keygen -t rsa 回车三次

 ssh-copy-id hadoop1

 完成