Hadoop单机伪分布式（集群搭建）

一、前期准备工作

1.建立一个虚拟机，并安装centos7

2.配置网络，能够ping外网（www.baidu.com）

3.连接Shell，方便后续敲代码，以及传输文件，需要安装XShell7和 Xftp7

4.要用的文件都需要用XFTP 传输,拖过去或者双击

二、安装必要部件

1.JDK（1.8版本）

tar -zxvf  jdk-8u361-linux-x64.tar.gz -C /opt

这是在压缩包路径下，进行解压，解压到指定位置 /opt

配环境变量

vim /etc/profile

在文件最后面加上这两行

export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH

第一行的路径要填你jdk安装的路径，名字都要对。

文件生效

source /etc/profile

查看版本

java -version

2.Hadoop

同样解压，这些操作都一样

tar -zxvf hadoop-3.1.3.tar.gz

vim /etc/profile

配环境变量
加上这两行

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

三.搭建伪分布式

免密登录，可以搜搜其他博主的方法。

hadoop文件配置

1.HDFS

cd /opt/hadoop/etc/hadoop/

要配置的文件都在这个目录下
可以用

ll

查看
vim来编辑文件

core-site.xml

<!--配置hdfs文件系统的命名空间-->
<property>
   <name>fs.defaultFS</name> 
    <value>hdfs://hadoop105:8020</value>
</property> 
<!-- 配置临时数据存储目录 -->
<property>
    <name>hadoop.tmp.dir</name> 
    <value>/opt/hadoop/tmp/</value>
</property>

hadoop105是我的主机名，你要改成自己的

hdfs-site.xml

<configuration>
    
         <!-- nn web端访问地址-->
    <property>
         <name>dfs.namenode.http-address</name>
         <value>hadoop105:9870</value>
    </property> 
         <!-- 2nn web端访问地址-->
    <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>hadoop105:9868</value>
    </property>

</configuration>

hadoop-env.sh

export JAVA_HOME=/opt/jdk

格式化

!!!只能格式化一次，每次格式化数据都会丢失。

hdfs namenode -format

2.YARN

yarn-site.xml

<!--RM的hostname-->
<property>
   <name>yarn.resourcemanager.hostsname</name>
   <value>hadoop</value>
</property>
<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

mapred-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

四.启动服务用户定义

进入hadoop sbin

cd $HADOOP_HOME/sbin
vim start-dfs.sh
vim stop-dfs.sh

在头部加入这些内容

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

同样

vim start-yarn.sh
vim stop-yarn.sh

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

五.启动集群

start-all.sh

输入jps查看结果
若为下图 ，则启动成功