Hadoop伪分布式集群的搭建

1、设置自身免登陆，输入命令

#ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2.关闭selinux、防火墙
永久有效
修改 /etc/selinux/config 文件中的 SELINUX=enforcing 修改为 SELINUX=disabled ，然后重启。
3.安装Java SDK（略）
4.安装Hadoop（略）
5.设置Hadoop环境变量，vim /etc/profile ，在末尾增加如下内容：

export HADOOP_HOME=/usr/local/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HDFS_DATANODE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

export JAVA_HOME=/usr/local/etc/jdk
export JRE_HOME=$JAVA_HOME/jre
export CALSSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

再执行使变量生效# source /etc/profile
6.设置JAVA_HOME, vim /usr/local/etc/Hadoop/etc/hadoop/hadoop-env.sh ，末尾添加如下内容：

export JAVA_HOME=/usr/local/etc/jdk

7.查看是否正常

hadoop version

Hadoop设置
编辑 hadoop/etc/hadoop/core-site.xml ：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://172.16.1.122:9000</value>
        <description>指定HDFS Master（namenode）的通信地址，默认端口</description>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/etc/hadoop/tmp</value>
        <description>指定hadoop运行时产生文件的存储路径</description>
    </property>

    <property>
        <name>hadoop.native.lib</name>
        <value>false</value>
        <description>是否应使用本机hadoop库（如果存在）</description>
    </property>
</configuration>

编辑 hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <description>设置数据块应该被复制的份数</description>
    </property>

    <property>
        <name>dfs.safemode.threshold.pct</name>
        <value>0</value>
        <description>小于等于0意味不进入安全模式，大于1意味一直处于安全模式</description>
    </property>

    <property>
        <name>dfs.permissions</name>
        <value>false</value>
        <description>文件操作时的权限检查标识, 关闭</description>
    </property>

</configuration>

编辑 hadoop/etc/hadoop/yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序</description>
    </property>

    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

编辑 hadoop/etc/hadoop/mapred-site.xml ：

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>yarn模式</description>
    </property>

    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

</configuration>

格式化hdfs# hdfs namenode -format
启动hadoop# start-hadoop-all.sh
验证hadoop

下面运行WorkCount程序来检查hadoop工作是否正常：
创建input文件夹：# hdfs dfs -mkdir /input
将test.txt文件上传的hdfs的/input目录下：# hdfs dfs -put ./hadoop/LICENSE.txt /input/test.txt
接运行hadoop安装包中自带的workcount程序：

hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /input/test.txt /output/

控制台输出结果：
查看输出结果：# hdfs dfs -ls /output
可见hdfs的/output目录下，有两个文件：

Found 2 items
-rw-r–r-- 1 root supergroup 0 2020-03-29 18:39 /output/_SUCCESS
-rw-r–r-- 1 root supergroup 35324 2020-03-29 18:39 /output/part-r-00000

看一下文件part-r-00000的内容：# hdfs dfs -cat /output/part-r-00000
hadoop 3
hbase 1
hive 2
mapreduce 1
spark 2
sqoop 1
storm 1
可见WorkCount计算成功，结果符合预期；

7. hdfs网页如下图，可以看到文件信息，地址：http://192.168.1.110:9870/
8. yarn的网页如下图，可以看到任务信息，地址： http://192.168.1.110:8088/
   至此，hadoop3.2.1伪分布式搭建和验证完毕。

此次搭建为简略版
有问题可以评论留言
看到会第一时间回复