Hadoop伪分布式环境搭建（个人笔记）

1.操作系统安装

安装CentOS 7

2.环境配置

1.网络环境配置

·静态IP（从外部xshell登录以及xftp文件传输）

1.设置静态IP和IP地址

ip addr #查看IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33  #修改配置文件信息

2.查看IP网段

3.继续添加IP和子网掩码

4.重启网络服务或者重启计算机

service network restart #重启网络服务
ip addr #查看IP地址

5.配置xshell远程登录





连接成功后如下图所示

6.xftp配置


将Hadoop和JDK压缩包拖入其中

7.免密登录（从本机到本机的免密登录）

ssh-keygen -t rsa #生成密钥

ssh-copy-id -i root@hadoopw110 #复制密钥

2.运行环境配置

cd /opt/soft/ #切换目录
ls
tar -xzvf jdk-8u112-linux-x64.tar.gz #解压，JDK名称可用tab快速补全
tar -xzvf hadoop-3.1.3.tar.gz #加压成功后继续解压Hadoop

ls
mv hadoop-3.1.3 /opt/hadoop #将文件移入自己方便记忆的文件夹
mv jdk1.8.0_212 /opt/jdk  
ls                   #查看
rm -rf *             #删除原有压缩包
ls

3.软件配置

1.Hadoop配置文件

操作

vi /etc/profile.d/hadoop-eco.sh #配置文件，输入下述内容

文件内容为：

#JAVA_HOME
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/hadoop

export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存后继续操作

source /etc/profile.d/hadoop-eco.sh #使编写的文件立即生效
cd /opt/hadoop/
ls
cd etc/
ls
cd hadoop/
ls
vi hadoop-env.sh #修改文件内容，如下图所示，添加位置

source hadoop-env.sh #重新启动
java -version #查看版本号
hadoop version #查看版本号

最后重启操作系统，以避免出现不必要的问题

reboot #重启

创建需要写入配置文件的目录

/opt/hadoop-record
name
data
tmp
secondary

cd /opt/
ls
mkdir hadoop-record
ls
cd hadoop-record/
ls
mkdir name data tmp secondary
ls

` Hadoop相关文件配置
core-site.xml
fs.defaultFS
hadoop.tmp.dir
文件配置内容如下

<configuration>
      <property>
         <name>fs.defaultFS</name>
         <value>hdfs://hadoopw110:9000</value>
      </property>
      <property>
         <name>hadoop.tmp.dir</name>
         <value>file:///opt/hadoop-record/tmp</value>
      </property>
</configuration>

hdfs-site.xml
dfs.replication=>1
dfs.namenode.name.dir
dfs.datanode.data.dir
文件配置内容如下

<configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:///opt/hadoop-record/name</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:///opt/hadoop-record/data</value>
      </property>
</configuration>

mapred-site.xml
mapreduce.framework.name=>yarn
配置文件内容

<configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
</configuration>

yarn-site.xml
yarn.resourcemanager.hostname=>localhost
yarn.nodemanager.aux-services=>mapreduce_shuffle

<configuration>

<!-- Site specific YARN configuration properties -->

      <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>hadoopw110</value>
      </property>
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
</configuration>

4.使用操作

格式化HDFS

hdfs namenode -format

启动文件系统

start-dfs.sh

本人启动时发现报错，对此进行解决

解决方案
调用如下命令，并输入如下内容

vi /etc/profile

输入的内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

重启使命令生效

source /etc/profile

启动yarn调度

start-yarn.sh

发现未打开，关闭centos7的防火墙
临时关闭

systemctl stop firewalld

永久关闭

systemctl disable firewalled

浏览器查询
常用端口号：
hadoop3.x
HDFS NameNode 内部通常端口：8020/9000/9820

HDFS NameNode 对用户的查询端口：9870

yarn 查看任务允许情况的：8088

历史服务器：19888

hadoop2.x
HDFS NameNode 内部通常端口：8020/9000

HDFS NameNode 对用户的查询端口：5070

yarn 查看任务允许情况的：8088

历史服务器：19888