Hadoop--完全分布式

完全分布式

Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
完全分布式模式：多台服务器组成分布式环境。生产环境使用。
*完全分布式一般要扩展为HA完全分布式

虚拟机网络配置

配置虚拟机的NAT模式

在vm的编辑中找到虚拟网络编辑器，确定vmnet8的网络模式为NAT模式；设置一个子网，例如192.168.100.0

windows的网络适配器中的vmnet8的ipv4中的IP地址为虚拟机中配置的地址，例如虚拟机网络编辑器中配置了192.168.100.0，ipv4中要配置192.168.100.1

常用工具安装

打开虚拟机，使用命令：
yum install -y epel-release 第三方rpm源，比官方的更丰富版本更新

最小化安装的Linux，需要安装以下工具：
yum install -y vim 安装vim
yum install -y net-tools 安装工具包集合，内置了多种命令

防火墙处理

关闭防火墙

systemctl stop firewalld
防火墙一定是开启的，直接关闭，没有必要使用systemctl status firewalld查看状态，再决定关闭。

关闭防火墙自启动

systemctl disable firewalld.service
不关闭自启动下次开机防火墙还会启动

为什么要关闭防火墙

开启防火墙的话，机器之间的通信会受到限制和影响；局域网内部的防火墙关闭并不会有安全威胁，因为对外网还有一个防火墙。

修改必要文件

修改如下文件：（使用vi或vim）
/etc/hostname 主机名 显示给自己看的名字
/etc/hosts IP地址映射 访问其他主机可以使用别称
/etc/sysconfig/network-scripts/ifcfg-ens33 网络配置 机器的ip地址，配置成功可以与外部通信
BOOTPROTO 修改为 static 静态IP
ONBOOT 改为yes 激活网卡，可成功连接网络
IPADDR IP地址
GATEWAY 网关
DNS1 DNS
重启机器（reboot），使机器名生效，并达到重启网络服务的目的（否则要使用systemctl restart network.service重启网络服务）
ip addr命令查看配置是否成功。
使用ping www.baidu.com -c4， 可以ping通，网络配置成功

Windows IP地址映射

打开C:\Windows\System32\drivers\etc 目录下的hosts，添加ip地址和主机名称。（和虚拟机中的/etc/hosts 添加的内容相同）

Xshell配置

创建一个新会话，因为已经配置了windows本地的ip地址映射，所以直接使用主机名。

配置登录脚本，设置用户名和密码。

更改一个合适的外观。

连接虚拟机即可。

JAVA配置

上传jdk 压缩包
使用命令 tar -zxvf [压缩包名] -C [解压到指定文件夹]

添加环境变量

在/etc/profile.d/ 目录下创建一个 sh文件
添加：
#JAVA_HOME配置
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使用命令 source /etc/profile 使环境变量生效
输入 java，可以看到java 的各种命令，证明配置成功。

Hadoop配置

上传hadoop压缩包
命令：tar -zxvf [压缩包名] -C [安装目录]
在/etc/profile.d/xx.sh中添加：
#HADOOP_HOME配置
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
使用命令 source /etc/profile 使环境变量生效
输入 hadoop，可以看到hadoop的各种命令，证明配置成功。

分布式配置

克隆虚拟机

关闭刚完成基本配置的虚拟机，克隆三台虚拟机（完整克隆）

ssh无密码登录

在一台机器中ssh [另一台主机名/ip地址]
exit 退出连接上的主机
在 .ssh目录下 使用名ssh-keygen -t rsa，生成公钥和私钥
使用命令 ssh-copy-id [ip地址/主机名] 将公钥复制到其他机器。
此时ssh登录就不再需要密码。

集群配置

修改hadoop-3.1.3/etc/hadoop目录下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml （文末有详细配置）

core-site.xml:

fs.defaultFS namenode地址
hadoop.tmp.dir hadoop数据存储目录
hadoop.http.staticuser.user 配置 HDFS 网页登录使用的静态用户

hdfs-site.xml:

dfs.namenode.http-address nn web页面地址
dfs.namenode.secondary.http-address 2nn web页面地址

yarn-site.xml:

yarn.nodemanager.aux-services MR的配置 一般要指定 MR 走 shuffle过程
yarn.resourcemanager.hostname resourcemanager的地址
yarn.nodemanager.env-whitelist 环境变量

mapred-site.xml:

mapreduce.framework.name 指定MR的程序运行在哪里 （一般是yarn）

配置workers/salves

在hadoop目录下的etc/hadoop目录下，找到此文件，添加主机名称到文件中，不能有空行和空格

集群启动

在fs.defaultFS所配置的namenode主机上格式化
hdfs namenode -format
格式化后，就可以启动集群了
在namenode节点启动hdfs
sbin/start-dfs.sh
在yarn.resourcemanager.hostname 所配置的resourcemanager节点启动yarn
sbin/yarn-dfs.sh

脚本执行完毕后，在每台机器上使用命令：jps
查看启动进程是否和配置的一样
机器1：datanode、nodemanager、namenode
机器2：datanode、nodemanager、resourcemanager
机器3：datanode、nodemanager、secondarynamenode

集群关闭

在namenode节点上使用命令：
sbin/stop-dfs.sh
关闭hdfs

在resourcemanager节点上使用命令：
sbin/stop-yarn.sh
关闭yarn

几个常用的命令

scp

secure copy 安全拷贝
scp 可以实现服务器与服务器之间的数据拷贝，拉取和发送。

语法规则

scp -r $pdir/$fname $user@$host:$pdir/$fname
解释
命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
例如
在 hadoop102 上，将 hadoop102 中/opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上
scp -r /opt/module/jdk1.8.0_212 atguigu@hadoop103:/opt/module

rsync

远程同步工具
rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

语法规则

rsync -av $pdir/$fname $user@$host:$pdir/$fname
解释
命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
例如
同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop103
rsync -av hadoop-3.1.3/ atguigu@hadoop103:/opt/module/hadoop-3.1.3/

Hadoop单个服务开关闭

hdfs的几个服务的单独开关闭

hdfs --daemon start/stop datanode/namenode/secondarynamenode

yarn几个服务的开关闭

yarn --daemon start/stop resourcemanager/nodemanager

历史服务的开关闭

mapred --daemon start/stop historyserver

附

配置时要把namenode、secondarynamenode、resourcemanager三者分开到三台机器上。设置主机时注意不要有相同的。
core-site.xml:

<property>
  <name>fs.defaultFS</name>
  <value>file:///主机:端口</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop-${user.name} 这里是默认的值，可以自己设置其他路径（不另设置不用添加到core-site.xml）</value>
  <description>A base for other temporary directories.</description>
</property>
<property>
  <name>hadoop.http.staticuser.user</name>
  <value>dr.who 改成当前用户，不修改此参数在给网页中的操作会受到限制</value>
  <description>
    The user name to filter as, on static web filters
    while rendering content. An example use is the HDFS
    web UI (user to be used for browsing files).
  </description>
</property>

hdfs-site.xml:

<property>
  <name>dfs.namenode.http-address</name>
  <value>namenode web端地址 配置成 主机:9870</value>
  <description>
    The address and the base port where the dfs namenode web ui will listen on.
  </description>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>secondarynamenode web端地址 配置成 主机:9868</value>
  <description>
    The secondary namenode http server address and port.
  </description>
</property>

yarn-site.xml:

<property>
    <description>A comma separated list of services where service name should only
      contain a-zA-Z0-9_ and can not start with numbers</description>
    <name>yarn.nodemanager.aux-services</name>
    <value>这里的默认值是空值，需要把下面注释掉的一行内容设置在这里，即指定mr执行时有shuffle处理过程</value>
    <!--<value>mapreduce_shuffle</value>-->
  </property>
  <property>
    <description>The hostname of the RM.</description>
    <name>yarn.resourcemanager.hostname</name>
    <value>resourcemanager 的hostname </value>
  </property>  
  <property>
    <description>Environment variables that containers may override rather than use NodeManager's default.</description>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,HADOOP_MAPRED_HOME</value>
  </property>

mapred-site.xml:

<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>