Hadoop学习

为什么要用Hadoop

现在的我们，生活在数据大爆炸的年代。2020年，全球的数据总量达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。

扩展:数据大小单位，从小到大分别是:byte,kb、mb、Gb、Tb、PB、EB、ZB、DB、NB…单位之间的转换都是满足1024

为了解决大数据的处理问题，为了解决大数据的存储问题

Hadoop的简要介绍

Hadoop是Apache基金会旗下一个开源的分布式存储和分析计算平台，使用jvai语言开发，具有很好的跨平台性，可以运行在商用(廉价硬件上，用户无需了解分布式底层摇节，就可以开发分布式程序，充分使用集群的高速计算和存储

Hadoop的组成部分

hadoop2.0以后的四个模块:
- Hadoop Common : Hadoop模块的通用组件
- Hadoop Distributed File System:分布式文件系统
- Hadoop YARN:作业调度和资源管理框架
- Hadoop MapReduce:基于YARN的大型数据集并行计算处理框架

hadoop3.0新扩展的两个模块:
- Hadoop 0zone:Hadoop的对象存储机制
- Hadoop Submarine : Hadoop的机器学习引擎

Hadoop的生态系统

---

JDK的安装

1.检查一下是否已经安装过或者系统内置JDK，如果有内置的，将其卸载

[root@tianqinglong01 ~]#rpm -qa |grep jdk   # 如果有,将其卸载
[root@tianqinglong01 ~]#rpm -e xxxxxx --nodeps #将查询到的内置jdk强制卸载

2.上传jdk1.8

将jdk-8u221-linux-x64.tar.gz上传到/root目录中

3.解压jdk到usr/local/下

[root@tianqinglong01 ~]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local

4.更名jdk

[root@tianqinglong01 ~]# cd /usr/local
[root@tianqinglong01 ~]# mv jdk1.8.0_221/ jdk

5.配置jdk的环境变量 /etc/profile

[root@tianqinglong01 ~]# vim /etc/profile
......省略.......
#jdk environment
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin

# export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

6.使当前窗口生效

[root@tianqinglong01 ~]# source /etc/profile

7.验证jdk环境

javac  
java -version

Hadoop的安装

完全分布式环境需求及安装

1．三台机器的防火墙必须是关闭的
2．确保三台机器的网络配置通常(NAT模式、静态IP、主机名的配置)
3．确保/etc/hosts文件配置了IP和hosts的映射关系
4．确保配置了三台机器的免密登录认证
5．确保所有的机器时间同步
6.JDK和Hadoop的环境变量配置

1.关闭防火墙

• 01 02 03

[root@tianqinglong01 ~]# systemctl stop firewalld
[root@tianqinglong01 ~]# systemctl disable firewalld  禁止开机自启动
[root@tianqinglong01 ~]# systemctl stop NetworkManager
[root@tianqinglong01 ~]# systemctl disable NetworkManager

#最好也把selinux关闭掉，这是li nux系统的一个安全机制，进入文件中将SELINUX设置为disabled
[root@tianqinglong01 ~]# vim /etc/selinux/config
..........
SELINUX=disabled
..........

2.静态IP和主机名配置

• 01 02 03

--1. 配置静态IP （确保NAT模式）
[root@tianqinglong01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
........
BOOTPROTO=static   # 将dhcp改为static
........
ONBOOT=yes  		   #将no改为yes
IPADDR=192.168.10.101  #添加IPADDR属性和ip地址 (101 102 103)
PREFIX=24 			   #添加NETMASK-255.255.255.8或者PREFIX-24
GATEWAY=192.168.10.2   #添加网关GATETAY
DNS1=114.114.114.114   #添加DNS1和备份DNS
DNS2=8.8.8.8

--2.重启网络服务
[root@tianqinglong01 ~]# systemctl restart network
或者
[root@tianqinglong01 ~]# service network restart

--3.修改主机名（如果修改过，请略过这一步）
[root@tianqinglong01 ~]# hostnamectl set-hostname tianqinglong01
或者
[root@tianqinglong01 ~]# vi/etc/hostname
tianqinglong01

3.配置/etc/hosts文件

[root@tianqinglong01 ~]# vi /etc/hosts
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localhostdomain4
::1        localhost localhost.localdomain localhost6 localhost6.localhostdomain6

192.168.10.101 tianqinglong01 # 添加本机的静态IP和本机的主机名之间的映射关系
192.168.10.102 tianqinglong02
192.168.10.103 tianqinglong03
:wq  #保存并退出

#给02 03配置
scp /etc/hosts tianqinglong02:/etc/ 
yes
输入密码
scp /etc/hosts tianqinglong03:/etc/ 
yes
输入密码

4.免密登录认证

-1. 使用rsa加密技术，生成公钥和私钥，一路回车即可  01 02 03都要生成
[root@tianqinglong01 ~]# cd ~
[root@tianqinglong01 ~]# ssh-keygen -t rsa

-2.进入~/.ssh目录下，使用ssh-copy-id命令  (01 02 03 都一样)
[root@tianqinglong01 ~]# cd ~/.ssh
[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong02
输入02密码
[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong03
输入03密码

-3.进行验证
[root@tianqinglong01 .ssh]# ssh tianqinglong #发现直接登陆过来了，不需要密码

注意:三台机器提前安装好的情况下，需要同步公钥文件。如果使用克隆技术。那么使用同一套密钥对就方便多了。

5.时间同步

# 1 选择集群中的某一台机甚作为时间服务器。tianqinglong01 
# 2 保证这台服务第安装了ntp.x86_64。
# 3 保证ntpd服务运行..- ---
[root@tianqinglong01 .ssh]# yum install ntp -y
[root@tianqinglong01 .ssh]# vim /etc/ntp.conf

	# Hosts on local network are less restricted.
	# restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap	 # 添加集群中的网络段位
	restrict 192.168.10.e mask 255.255.255.0 nomodify notrap
	
	# Use public servers from the pool.ntp.org project.
    #Please consider joining the pool (http://nw.pool.ntp.org/join.html
    # server 0.centos,pool.ntp.org iburst注释掉
	# server 1.centos.pool.ntp.org iburst注释掉
	# server 2.centos.pool.ntp.org iburst注释掉
    # server 3.centos. pool.ntp.org iburst注释掉

    server 127.127.1.0    -master作为服务器
    :wq

[root@tianqinglong01 .ssh]# systemctl start ntpd
[root@tianqinglong01 .ssh]# systemctl status ntpd

02 安装 yum install ntpdate -y
ntpdate -u tianqinglong01

03 安装 yum install ntpdate -y
ntpdate -u tianqinglong01

# 其他机器要使用root定义定时器
[root@tianqinglong02 .ssh]#crontab -e
* * * * * /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1
:wq

[root@tianqinglong03 .ssh]#crontab -e
* * * * * /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1
:wq

02 03的jdk环境配置
[root@tianqinglong01 local]# scp -r jdk /tianqinglong02:$PWD
[root@tianqinglong01 local]# scp -r jdk /tianqinglong03:$PWD

6.Hadoop安装与环境变量配置

# 1.上传和解压两个软件包
[root@tianqinglong01 ~J# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/
[root@tianqinglong01 ~J# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/

# 2.进入local里,给两个软件更名
[root@tianqinglong01 ~J# cd /usr/local/
[root@tianqinglong01 localJ# mv 1.8.0_221/jdk
[root@tianqinglong01 localJ# mv hadoop-2.7.6/ hadoop

# 3.配置环境变量
[root@tianqinglong01 hadoopJ# vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@tianqinglong01 hadoopJ# source /etc/profile
[root@tianqinglong01 hadoopJ# cd
[root@tianqinglong01 ~J# hadoop version

02 03 也要安装hadoop
[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong02:$PWD
[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong03:$PWD

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong02:/etc/

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong03:/etc/

02 
[root@tianqinglong02 .sshJ# source /etc/profile
[root@tianqinglong02 ~J# hadoop version
03 
[root@tianqinglong03 .sshJ# source /etc/profile
[root@tianqinglong03 ~J# hadoop version

NameNode 和 DateNode

NameNode ：是用来维护集群的目录树结构，并对外提供服务的节点

DateNode ： 数据存储的节点

Hadoop的配置文件

我们需要通过配置若干配置文件，来实现Hadoop集群的配置信息。需要配置的文件有:
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

core-site.xml

[root@tianqinglong01 ~]# cd $HADOOP_HOME/etc/hadoop/
[root@tianqinglong01 hadoop]# vi core-site.xml
<configurations>
 <!-- hdfs的地址名称: schome ,ip,port-->
 <!--在Hadoop1.x的版本中，默认使用的端口是9000。在Hadoop2.x的版本中，默认使用端口是8020 -->
    <property>
		<name>fs.defaultFS</name>
		<value>hdfs://tianqinglong01:8020</value>
    </property>
<!-- hdfs的基础路径。被其他属性所依赖的一个基础路径-->
    <property>
		<name>hodoop.tmp.dir</name>
		<value>/usr/local/hodoop/tmp</value>
    </property>
</configurations>

hdfs-site.xml

[root@tianqinglong01 hadoop]# vi hdfs-site.xml
<configuration>
<!-- namenode守护进程管理的元数据文件fsimage存储的位置-->
    <property>
		<name>dfs.namenode.name.dir</name>
		<value>file://${hadoop.tmp.dir}/dfs/name</value>
    </ property>
<!--确定DFS数据节点应该将其块存储在本地文件系统的何处-->
    <property>
        <name>dfs.datanode.data.dir</name>
		<value>file://${hadoop.tmp.dir}/dfs/data</value>	
	</property>
<!--块的副本数-->
	<property>
		<name>dfs.replicationc</name>
        <value>3</value>
    </property>
<!--块的大小(128M),下面的单位是字节-->
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
     </property>
<!-- secondarynamenode守护进程的http地址:主机名和端口号。参考守护进程布局-->
    <property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>tianqinglong02:50090</value>
	</property>
<!-- namenode守护进程的http地址:主机名和端口号。参考守护进程布局-->
	<property>
		<name>dfs.nomenode.http-address</name>
    	<value>tianqinglong01:50070</value>
	</property>
</configuration>

mapred-site.xml

[root@tianqinglong01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@tianqinglong01 hadoop]# vi mapred-site .xml
<configuration>
<!--指定mopreduce使用yarn资源管理器-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
	</property>
<!--配置作业历史服务器的地址-->
<property>
	<name>mapreduce.jobhistory.address</name>
    <value>tianqinglong01:10020</value>
</property>
<!--配置作业历史服务器的http地址-->
    <property>
		<name>mopreduce-jobhistory.webapp.address</name>
        <value>tianqinglong01:19888</value>
</property>
</configurations>

yarn-site.xml

[root@tianqinglong01 hadoop]# vi yarn-site.xml
<configuration>
<!--指定yarn的shuffle技术-->
    <property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
<!--指定resourcemanager的主机名-->
    <property>
		<name>yarn.resourcemanager.hostname</name>
        <value>tianqinglong01</value>
	</property>
<!--下面的可选-->
<!--指定shuffle对应的类-->
    <property>
		<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
<!--配置resourcemanager的内部通讯地址-->
    <property>
		<name>yarn.resourcemanager.address</name>	
		<value>tianqinglong01:8032</value>
	</property>
<!--配置resourcemanager的scheduler的内部通讯地址-->
    <property>
		<name>yarn.resourcemanager.scheduler.address</name>	
		<value>tianqinglong01:8030</value>
	</property>
<!--配置resoucemanager的资源调度的内部通讯地址-->
    <property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
        <value>tianqinglong01:8031</value>
	</property>
<!--配置resourcemanager的管理员的内部通讯地址-->
    <property>
		<name>yarn.resourcemanager.admin.address</name>
        <value>tianqinglong01:8033</value>
	</property>
 <!--配置resourcemanager的web ui的监控页面-->
    <property>
		<name>yarn.resourcemanager.webapp.address</name>
        <value>tianqinglong01:8088</value>
	</property>   
</configuration>

hadoop-env.sh

[root@tianqinglong01 hadoop]# vim hadoop-env.sh
.........
# The java implementation to use
export JAVA_HOME=/usr/local/jdk
.........

yarn-env.sh

[root@tianqinglong01 hadoop]# yarn-env.sh
........
# some Java Paramters
JAVA_HOME=/usr/local/jdk
........

slaves

此文件用于指定datanode守护进程所在的机器节点主机名
[root@tianqinglong01 hadoop]# vim slaves
tianqinglong01
tianqinglong02
tianqinglong03

分发到另外两台

[root@tianqinglong01 hadoop]# cd ..
[root@tianqinglong01 etc]# ll
[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong02:$PWD
[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong03:$PWD

格式化集群与启动

格式化集群

1.在tianqinglong01机器上运行命令

[root@tianqinglong01 ~]# hdfs namenode -format
[root@tianqinglong01 ~]# cd /usr/local/hadoop/tmp/dfs/name/current

启动

1.启动脚本
-- start-dfs.sh   :用于启动hdfs集群的脚本
-- start-yarn.sh  :用于启动yarn守护进程
-- start-all.sh   :用于启动hdfs和yarn
2.关闭脚本
-- stop-dfs.sh    :用于关闭hdfs集群的脚本
-- stop-yarn.sh   :用于关闭yarn守护进程
-- stop-all.sh    :用于关闭hdfs和yarn

[root@tianqinglong01 ~]# ssh-copy-id tianqinglong01
[root@tianqinglong01 ~]# start-dfs.sh
[root@tianqinglong01 ~]# jps   #查看

HDFS的shell命令

HDFS其实就是一个分布式的文件系统，我们可以使用一些命令来操作这个分布式文件系统上的文件。
-访问HDFS的命令:
hadoop dfs ---已过时
hdfs dfs 

-小技巧
	1.在命令行中输入hdfs。回车后，就会提示hdfs.后可以使用哪些命令，其中有一个是dfs.
	2.在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令。

-注意事项
分布式文件系统的路径在命令行中,要从/开始写,即绝对路径。

创建目录

hdfs dfs -mkdir (-p) /目录
hdfs dfs -mkdir (-p) /data

上传指令

echo "hello hdfs" >> a1
hdfs dfs -put a1 /data

创建空文件

hdfs dfs -mkdir /empty
hdfs dfs touchz /empty/empty1

向分布式文件系统中的文件里追加内容

echo "hello world" >> e1
hdfs dfs -appendToFile e1 /empty/empty1

下载指令

hdfs dfs -get /empty/empty1 ./

##扩展 拷贝指令
hdfs dfs -copyToLocal /empty ./

合并下载

• 把多个文件里面数据合并成一个

echo "hello 1" >> file1
echo "hello 2" >> file2
echo "hello 3" >> file3

hdfs dfs -put file* /

hdfs dfs -getmerge /file* ./file

cat file
hello 1
hello 2
hello 3

移动文件

hdfs dfs -mv /file* /data

重命名

hdfs dfs -mv /test /test1

复制

hdfs dfs -cp /data/file1 /

删除命令

hdfs dfs -rm /file1
hdfs dfs -rm -r /a   #递归删除
hdfs dfs -rmdir /test1 #只能删除空文件夹

查看磁盘利用率和文件大小

hdfs dfs -df /
hdfs dfs -df -h /  #可以直观的看
hdfs dfs -du -h /data #查看data文件夹里面的每个文件大小
hdfs dfs -du -s /data #查看data文件夹里面的总文件大小

修改权限的

hdfs dfs -chmod 777 /data
hdfs dfs -chown shawn:shwan /data

修改副本数量

hdfs dfs -setrep 5 /data  #默认为3

查看文件状态

测试

hdfs dfs -test -e /data/a1 # 看不出来什么

hdfs dfs -test -e /data/a1 && echo "exists" || echo "none"

---

HDFS的块

hdfs不适合小文件的存储！块是固定的~ 你存1M和127M都要占用那么多空间

HDFS的优点

1, 高容错性(硬件故障是常态)数据自动保存多个副本，副本丢失后，会自动恢复
2, 适合大数据集:GB。TB、甚至PB级数据、千万规模以上的文件数量，1000以上节点规模。
3, 数据访问:一次性写入。多次读取;保证致据一致性,安全性
4, 构建成本低:可以构建在廉价机器上。
5, 多种软硬件平台中的可移植性
6, 高效性:Hodoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
7, 高可靠性:Hadoop的存储和处理数据的能力值得人们信赖,

HDFS的缺点

1.不适合做低延迟数据访问:
HDFS的设计目标有一点是:处理大型数据集，高吞吐率。这一点势必要以高延迟为代价的。
因此HDFS不适合处理用户要求的毫秒级的低延迟应用请求

2.不适合小文件存储:
一个是大量小文件需要消耗大量的寻址时间，违反了HDFS的尽可能减少寻址时间比例约设计目标。
第二个是内存有限，一个block元数据大内存消耗大约为159个字节，存储一亿个block和
一亿个小文件都会消耗20G内存。因此相对来说。大文件更省内存。

3.不适合并发写入,文件随机修改:
HOFS上的文件只能拥有一个写者，仅仅支持append操作。不支持多用户对同一个文件的写操作，
以及在文件任意位置进行修改

HDFS的体系结构解析

HDFS的开机启动过程

非第一次启动集群

第一次启动集群

---

SecondaryNameNode的工作机制

SecondaryNamenode，是HDFS集群中的重要组成部分，它可以辅助Namenode进行fsimage和editlog的合并工作，减小edtlog文件大小，以便缩短下次Namenode的重启时间，能尽快退出安全模式。

两个文件的合并周期，称之为检查点机制(checkpoint)，是可以通过hdfs-default.xml配置文件进行修改的:

<property>
	<name>dfs.namenode.checkpoint.period</ name>				
	<value>3600</value>
	<description>两次检查点间隔的秒数，默认是1个小时</description></property>I
<property>
	<name>dfs.namenode.checkpoint.txns</name>							
	<value>1000000</value>
	<description>txid执行的次数达到100w次，也执行checkpoint</description>
</property>
<property>
	<name>dfs.namenode.checkpoint.check.period</name>			
	<value>60</value>
	<description>60秒一检查txid的执行次数</description>
</property>

通过上图，可以总结如下：

1.SecondaryNamenode请求Namenode停止使用正在编辑的editlog文件，Namenode会创建新的editlog文件(小了吧)，同时更新seed._txid文件。

2.SecondaryNomenode通过HTTP协议获取Namenode上的fsimage和editlog文件。

3.SecondaryNamenode将fsimage读进内存当中，并逐步分析editlog文件里的数据，进行合并操作，然后写入新文件fsimage_x.ckpt文件中。

4.SecondaryNamenode将新文件fsimage_x.ckpt通过HTTP协议发送回Namenode.

5.Namenode再进行更名操作。