为什么要用Hadoop
现在的我们,生活在数据大爆炸的年代。2020年,全球的数据总量达到44ZB,经过单位换算后,至少在440亿TB以上,也就是说,全球每人一块1TB的硬盘都存储不下。
扩展:数据大小单位,从小到大分别是:byte,kb、mb、Gb、Tb、PB、EB、ZB、DB、NB…单位之间的转换都是满足1024
为了解决大数据的处理问题,为了解决大数据的存储问题
Hadoop的简要介绍
Hadoop是Apache基金会旗下一个开源的分布式存储和分析计算平台,使用jvai语言开发,具有很好的跨平台性,可以运行在商用(廉价硬件上,用户无需了解分布式底层摇节,就可以开发分布式程序,充分使用集群的高速计算和存储
Hadoop的组成部分
hadoop2.0以后的四个模块:
- Hadoop Common : Hadoop模块的通用组件
- Hadoop Distributed File System:分布式文件系统
- Hadoop YARN:作业调度和资源管理框架
- Hadoop MapReduce:基于YARN的大型数据集并行计算处理框架
hadoop3.0新扩展的两个模块:
- Hadoop 0zone:Hadoop的对象存储机制
- Hadoop Submarine : Hadoop的机器学习引擎
Hadoop的生态系统
JDK的安装
1.检查一下是否已经安装过或者系统内置JDK,如果有内置的,将其卸载
[root@tianqinglong01 ~]#rpm -qa |grep jdk # 如果有,将其卸载
[root@tianqinglong01 ~]#rpm -e xxxxxx --nodeps #将查询到的内置jdk强制卸载
2.上传jdk1.8
将jdk-8u221-linux-x64.tar.gz上传到/root目录中
3.解压jdk到usr/local/下
[root@tianqinglong01 ~]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local
4.更名jdk
[root@tianqinglong01 ~]# cd /usr/local
[root@tianqinglong01 ~]# mv jdk1.8.0_221/ jdk
5.配置jdk的环境变量 /etc/profile
[root@tianqinglong01 ~]# vim /etc/profile
......省略.......
#jdk environment
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin
# export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
6.使当前窗口生效
[root@tianqinglong01 ~]# source /etc/profile
7.验证jdk环境
javac
java -version
Hadoop的安装
完全分布式环境需求及安装
1.三台机器的防火墙必须是关闭的
2.确保三台机器的网络配置通常(NAT模式、静态IP、主机名的配置)
3.确保/etc/hosts文件配置了IP和hosts的映射关系
4.确保配置了三台机器的免密登录认证
5.确保所有的机器时间同步
6.JDK和Hadoop的环境变量配置
1.关闭防火墙
- 01 02 03
[root@tianqinglong01 ~]# systemctl stop firewalld
[root@tianqinglong01 ~]# systemctl disable firewalld 禁止开机自启动
[root@tianqinglong01 ~]# systemctl stop NetworkManager
[root@tianqinglong01 ~]# systemctl disable NetworkManager
#最好也把selinux关闭掉,这是li nux系统的一个安全机制,进入文件中将SELINUX设置为disabled
[root@tianqinglong01 ~]# vim /etc/selinux/config
..........
SELINUX=disabled
..........
2.静态IP和主机名配置
- 01 02 03
--1. 配置静态IP (确保NAT模式)
[root@tianqinglong01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
........
BOOTPROTO=static # 将dhcp改为static
........
ONBOOT=yes #将no改为yes
IPADDR=192.168.10.101 #添加IPADDR属性和ip地址 (101 102 103)
PREFIX=24 #添加NETMASK-255.255.255.8或者PREFIX-24
GATEWAY=192.168.10.2 #添加网关GATETAY
DNS1=114.114.114.114 #添加DNS1和备份DNS
DNS2=8.8.8.8
--2.重启网络服务
[root@tianqinglong01 ~]# systemctl restart network
或者
[root@tianqinglong01 ~]# service network restart
--3.修改主机名(如果修改过,请略过这一步)
[root@tianqinglong01 ~]# hostnamectl set-hostname tianqinglong01
或者
[root@tianqinglong01 ~]# vi/etc/hostname
tianqinglong01
3.配置/etc/hosts文件
[root@tianqinglong01 ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localhostdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localhostdomain6
192.168.10.101 tianqinglong01 # 添加本机的静态IP和本机的主机名之间的映射关系
192.168.10.102 tianqinglong02
192.168.10.103 tianqinglong03
:wq #保存并退出
#给02 03配置
scp /etc/hosts tianqinglong02:/etc/
yes
输入密码
scp /etc/hosts tianqinglong03:/etc/
yes
输入密码
4.免密登录认证
-1. 使用rsa加密技术,生成公钥和私钥,一路回车即可 01 02 03都要生成
[root@tianqinglong01 ~]# cd ~
[root@tianqinglong01 ~]# ssh-keygen -t rsa
-2.进入~/.ssh目录下,使用ssh-copy-id命令 (01 02 03 都一样)
[root@tianqinglong01 ~]# cd ~/.ssh
[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong02
输入02密码
[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong03
输入03密码
-3.进行验证
[root@tianqinglong01 .ssh]# ssh tianqinglong #发现直接登陆过来了,不需要密码
注意:三台机器提前安装好的情况下,需要同步公钥文件。如果使用克隆技术。那么使用同一套密钥对就方便多了。
5.时间同步
# 1 选择集群中的某一台机甚作为时间服务器。tianqinglong01
# 2 保证这台服务第安装了ntp.x86_64。
# 3 保证ntpd服务运行..- ---
[root@tianqinglong01 .ssh]# yum install ntp -y
[root@tianqinglong01 .ssh]# vim /etc/ntp.conf
# Hosts on local network are less restricted.
# restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap # 添加集群中的网络段位
restrict 192.168.10.e mask 255.255.255.0 nomodify notrap
# Use public servers from the pool.ntp.org project.
#Please consider joining the pool (http://nw.pool.ntp.org/join.html
# server 0.centos,pool.ntp.org iburst注释掉
# server 1.centos.pool.ntp.org iburst注释掉
# server 2.centos.pool.ntp.org iburst注释掉
# server 3.centos. pool.ntp.org iburst注释掉
server 127.127.1.0 -master作为服务器
:wq
[root@tianqinglong01 .ssh]# systemctl start ntpd
[root@tianqinglong01 .ssh]# systemctl status ntpd
02 安装 yum install ntpdate -y
ntpdate -u tianqinglong01
03 安装 yum install ntpdate -y
ntpdate -u tianqinglong01
# 其他机器要使用root定义定时器
[root@tianqinglong02 .ssh]#crontab -e
* * * * * /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1
:wq
[root@tianqinglong03 .ssh]#crontab -e
* * * * * /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1
:wq
02 03的jdk环境配置
[root@tianqinglong01 local]# scp -r jdk /tianqinglong02:$PWD
[root@tianqinglong01 local]# scp -r jdk /tianqinglong03:$PWD
6.Hadoop安装与环境变量配置
# 1.上传和解压两个软件包
[root@tianqinglong01 ~J# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/
[root@tianqinglong01 ~J# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/
# 2.进入local里,给两个软件更名
[root@tianqinglong01 ~J# cd /usr/local/
[root@tianqinglong01 localJ# mv 1.8.0_221/jdk
[root@tianqinglong01 localJ# mv hadoop-2.7.6/ hadoop
# 3.配置环境变量
[root@tianqinglong01 hadoopJ# vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[root@tianqinglong01 hadoopJ# source /etc/profile
[root@tianqinglong01 hadoopJ# cd
[root@tianqinglong01 ~J# hadoop version
02 03 也要安装hadoop
[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong02:$PWD
[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong03:$PWD
[root@tianqinglong01 localJ# scp /etc/profile tianqinglong02:/etc/
[root@tianqinglong01 localJ# scp /etc/profile tianqinglong03:/etc/
02
[root@tianqinglong02 .sshJ# source /etc/profile
[root@tianqinglong02 ~J# hadoop version
03
[root@tianqinglong03 .sshJ# source /etc/profile
[root@tianqinglong03 ~J# hadoop version
NameNode 和 DateNode
NameNode :是用来维护集群的目录树结构,并对外提供服务的节点
DateNode : 数据存储的节点
Hadoop的配置文件
我们需要通过配置若干配置文件,来实现Hadoop集群的配置信息。需要配置的文件有:
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
core-site.xml
[root@tianqinglong01 ~]# cd $HADOOP_HOME/etc/hadoop/
[root@tianqinglong01 hadoop]# vi core-site.xml
<configurations>
<!-- hdfs的地址名称: schome ,ip,port-->
<!--在Hadoop1.x的版本中,默认使用的端口是9000。在Hadoop2.x的版本中,默认使用端口是8020 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://tianqinglong01:8020</value>
</property>
<!-- hdfs的基础路径。被其他属性所依赖的一个基础路径-->
<property>
<name>hodoop.tmp.dir</name>
<value>/usr/local/hodoop/tmp</value>
</property>
</configurations>
hdfs-site.xml
[root@tianqinglong01 hadoop]# vi hdfs-site.xml
<configuration>
<!-- namenode守护进程管理的元数据文件fsimage存储的位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name</value>
</ property>
<!--确定DFS数据节点应该将其块存储在本地文件系统的何处-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data</value>
</property>
<!--块的副本数-->
<property>
<name>dfs.replicationc</name>
<value>3</value>
</property>
<!--块的大小(128M),下面的单位是字节-->
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<!-- secondarynamenode守护进程的http地址:主机名和端口号。参考守护进程布局-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>tianqinglong02:50090</value>
</property>
<!-- namenode守护进程的http地址:主机名和端口号。参考守护进程布局-->
<property>
<name>dfs.nomenode.http-address</name>
<value>tianqinglong01:50070</value>
</property>
</configuration>
mapred-site.xml
[root@tianqinglong01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@tianqinglong01 hadoop]# vi mapred-site .xml
<configuration>
<!--指定mopreduce使用yarn资源管理器-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--配置作业历史服务器的地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>tianqinglong01:10020</value>
</property>
<!--配置作业历史服务器的http地址-->
<property>
<name>mopreduce-jobhistory.webapp.address</name>
<value>tianqinglong01:19888</value>
</property>
</configurations>
yarn-site.xml
[root@tianqinglong01 hadoop]# vi yarn-site.xml
<configuration>
<!--指定yarn的shuffle技术-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定resourcemanager的主机名-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>tianqinglong01</value>
</property>
<!--下面的可选-->
<!--指定shuffle对应的类-->
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!--配置resourcemanager的内部通讯地址-->
<property>
<name>yarn.resourcemanager.address</name>
<value>tianqinglong01:8032</value>
</property>
<!--配置resourcemanager的scheduler的内部通讯地址-->
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>tianqinglong01:8030</value>
</property>
<!--配置resoucemanager的资源调度的内部通讯地址-->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>tianqinglong01:8031</value>
</property>
<!--配置resourcemanager的管理员的内部通讯地址-->
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>tianqinglong01:8033</value>
</property>
<!--配置resourcemanager的web ui的监控页面-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>tianqinglong01:8088</value>
</property>
</configuration>
hadoop-env.sh
[root@tianqinglong01 hadoop]# vim hadoop-env.sh
.........
# The java implementation to use
export JAVA_HOME=/usr/local/jdk
.........
yarn-env.sh
[root@tianqinglong01 hadoop]# yarn-env.sh
........
# some Java Paramters
JAVA_HOME=/usr/local/jdk
........
slaves
此文件用于指定datanode守护进程所在的机器节点主机名
[root@tianqinglong01 hadoop]# vim slaves
tianqinglong01
tianqinglong02
tianqinglong03
分发到另外两台
[root@tianqinglong01 hadoop]# cd ..
[root@tianqinglong01 etc]# ll
[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong02:$PWD
[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong03:$PWD
格式化集群与启动
格式化集群
1.在tianqinglong01机器上运行命令
[root@tianqinglong01 ~]# hdfs namenode -format
[root@tianqinglong01 ~]# cd /usr/local/hadoop/tmp/dfs/name/current
启动
1.启动脚本
-- start-dfs.sh :用于启动hdfs集群的脚本
-- start-yarn.sh :用于启动yarn守护进程
-- start-all.sh :用于启动hdfs和yarn
2.关闭脚本
-- stop-dfs.sh :用于关闭hdfs集群的脚本
-- stop-yarn.sh :用于关闭yarn守护进程
-- stop-all.sh :用于关闭hdfs和yarn
[root@tianqinglong01 ~]# ssh-copy-id tianqinglong01
[root@tianqinglong01 ~]# start-dfs.sh
[root@tianqinglong01 ~]# jps #查看
HDFS的shell命令
HDFS其实就是一个分布式的文件系统,我们可以使用一些命令来操作这个分布式文件系统上的文件。
-访问HDFS的命令:
hadoop dfs ---已过时
hdfs dfs
-小技巧
1.在命令行中输入hdfs。回车后,就会提示hdfs.后可以使用哪些命令,其中有一个是dfs.
2.在命令行中输入hdfs dfs,回车后,就会提示dfs后可以添加的一些常用shell命令。
-注意事项
分布式文件系统的路径在命令行中,要从/开始写,即绝对路径。
创建目录
hdfs dfs -mkdir (-p) /目录
hdfs dfs -mkdir (-p) /data
上传指令
echo "hello hdfs" >> a1
hdfs dfs -put a1 /data
创建空文件
hdfs dfs -mkdir /empty
hdfs dfs touchz /empty/empty1
向分布式文件系统中的文件里追加内容
echo "hello world" >> e1
hdfs dfs -appendToFile e1 /empty/empty1
下载指令
hdfs dfs -get /empty/empty1 ./
##扩展 拷贝指令
hdfs dfs -copyToLocal /empty ./
合并下载
- 把多个文件里面数据合并成一个
echo "hello 1" >> file1
echo "hello 2" >> file2
echo "hello 3" >> file3
hdfs dfs -put file* /
hdfs dfs -getmerge /file* ./file
cat file
hello 1
hello 2
hello 3
移动文件
hdfs dfs -mv /file* /data
重命名
hdfs dfs -mv /test /test1
复制
hdfs dfs -cp /data/file1 /
删除命令
hdfs dfs -rm /file1
hdfs dfs -rm -r /a #递归删除
hdfs dfs -rmdir /test1 #只能删除空文件夹
查看磁盘利用率和文件大小
hdfs dfs -df /
hdfs dfs -df -h / #可以直观的看
hdfs dfs -du -h /data #查看data文件夹里面的每个文件大小
hdfs dfs -du -s /data #查看data文件夹里面的总文件大小
修改权限的
hdfs dfs -chmod 777 /data
hdfs dfs -chown shawn:shwan /data
修改副本数量
hdfs dfs -setrep 5 /data #默认为3
查看文件状态
测试
hdfs dfs -test -e /data/a1 # 看不出来什么
hdfs dfs -test -e /data/a1 && echo "exists" || echo "none"
HDFS的块
hdfs不适合小文件的存储!块是固定的~ 你存1M和127M都要占用那么多空间
HDFS的优点
1, 高容错性(硬件故障是常态)数据自动保存多个副本,副本丢失后,会自动恢复
2, 适合大数据集:GB。TB、甚至PB级数据、千万规模以上的文件数量,1000以上节点规模。
3, 数据访问:一次性写入。多次读取;保证致据一致性,安全性
4, 构建成本低:可以构建在廉价机器上。
5, 多种软硬件平台中的可移植性
6, 高效性:Hodoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
7, 高可靠性:Hadoop的存储和处理数据的能力值得人们信赖,
HDFS的缺点
1.不适合做低延迟数据访问:
HDFS的设计目标有一点是:处理大型数据集,高吞吐率。这一点势必要以高延迟为代价的。
因此HDFS不适合处理用户要求的毫秒级的低延迟应用请求
2.不适合小文件存储:
一个是大量小文件需要消耗大量的寻址时间,违反了HDFS的尽可能减少寻址时间比例约设计目标。
第二个是内存有限,一个block元数据大内存消耗大约为159个字节,存储一亿个block和
一亿个小文件都会消耗20G内存。因此相对来说。大文件更省内存。
3.不适合并发写入,文件随机修改:
HOFS上的文件只能拥有一个写者,仅仅支持append操作。不支持多用户对同一个文件的写操作,
以及在文件任意位置进行修改
HDFS的体系结构解析
HDFS的开机启动过程
非第一次启动集群
第一次启动集群
SecondaryNameNode的工作机制
SecondaryNamenode,是HDFS集群中的重要组成部分,它可以辅助Namenode进行fsimage和editlog的合并工作,减小edtlog文件大小,以便缩短下次Namenode的重启时间,能尽快退出安全模式。
两个文件的合并周期,称之为检查点机制(checkpoint),是可以通过hdfs-default.xml配置文件进行修改的:
<property>
<name>dfs.namenode.checkpoint.period</ name>
<value>3600</value>
<description>两次检查点间隔的秒数,默认是1个小时</description></property>I
<property>
<name>dfs.namenode.checkpoint.txns</name>
<value>1000000</value>
<description>txid执行的次数达到100w次,也执行checkpoint</description>
</property>
<property>
<name>dfs.namenode.checkpoint.check.period</name>
<value>60</value>
<description>60秒一检查txid的执行次数</description>
</property>
通过上图,可以总结如下:
1.SecondaryNamenode请求Namenode停止使用正在编辑的editlog文件,Namenode会创建新的editlog文件(小了吧),同时更新seed._txid文件。
2.SecondaryNomenode通过HTTP协议获取Namenode上的fsimage和editlog文件。
3.SecondaryNamenode将fsimage读进内存当中,并逐步分析editlog文件里的数据,进行合并操作,然后写入新文件fsimage_x.ckpt文件中。
4.SecondaryNamenode将新文件fsimage_x.ckpt通过HTTP协议发送回Namenode.
5.Namenode再进行更名操作。