Hadoop

2019年12月17日 Hadoop （入门）
大数据概念：
大数据（Big Data）：值无法在一定时间范围内常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产
主要解决：
海量数据存储（HDFS）
海量数据分析计算（MapReduce）
统一资源管理调度（YARN）
数据存储单位（小到大）：bit、Byte、KB、MB、GB、MB、TB、PB、EB、ZB、YB、BB、NB、DB
大数据特点（4V）:
Volume(大量)
Velocity(高速)
Variety(多样)：分为结构化数据和非结构化数据
Value(低价值密度)：价值密度的高低与数据量成反比
应用场景：
物流仓储
零售
旅游
商品广告推荐
保险
金融
房产
人工智能
Hadoop
Hadoop是由Apache基金会所开发的分布式系统基础构架
主要解决海量数据的存储和海量数据的分析计算问题
广义上来说，Hadoop通常是指一个更广泛的概念--------Hadoop生态圈

Hadoop三大发行版本
Apache:最原始（最基础）的把版本，对于入门学习最好
Apache Hadoop
官网地址：http://hadoop.apache.org/releases.html
下载地址：https://archive.apache.org/dist/hadoop/common/
Cloidera:在大型互联网企业中用的较多
官网地址：https://www.cloudera.com/downloads/cdh/5-10-0.html
下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
Hortonworks:文档较好
官网地址：https://hortonworks.com/products/data-center/hdp/
下载地址：https://hortonworks.com/downloads/#data-platform
Hadoop的优势
高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点
高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
高容错性：能够自动将失败的任务重新分配
Hadoop组成：
Hadoop1.x和Hadoop2.x区别？
在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了yarn，yarn只负责资源调度，MapReduce只负责运算
HDFS架构概述
HDFS（Hadoop Distributed File System）
NameNode(nn):
存储文件的元数据（如文件名、文件目录结构、文件属性
（生成时间、副本数、文件权限））以及每个文件的块列表和块所在的DATA NODE等

DataNode(dn):
在本地文件系统存储文件块数据，以及块数据的校验和

Secondary NameNode(2nn):辅助Name Node
用来监控HDFS状态的辅助后台程序，每隔一段时间
获取HDFS元数据的快照
YARN架构概述
Resource Manager(RM)
NodeManager(NM)
ApplicationMaster(AM)
Contalner

    作用：
    Resource Manager(RM)：
    处理客户端请求;
    监控NodeManager
    启动或监控ApplicationMaster
    资源的分配与调度

    NodeManager(NM)：
    管理单个节点上的资源
    处理来自Resource Manager的命令
    处理来自ApplicationMaster的命令

     ApplicationMaster：
     负责数据的切分
     为应用程序申请资源并分配给内部的任务
     任务的监控与容错

     Contalner：
     是yarn中的资源抽象，它封装了某个节点上的多维度资源,
     如内存、CPU、磁盘、网络等

MapReduce架构概述
MAP
Reduce

     作用：
     MAP阶段并行处理输入数据
     Reduce阶段对MAP结果进行汇总

Hadoop运行环境搭建
虚拟机环境准备
/etc/hosts

1. 克隆虚拟机
2. 修改克隆虚拟机的静态IP
3. 修改主机名
4. 关闭防火墙
5. 创建jinghang用户
6. 配置jinghang用户具有root权限
   7．在/opt目录下创建文件夹
   在/opt目录下创建module、software文件夹
   [jinghang@hadoop opt]$ sudo mkdir module
   [jinghang@hadoop opt]$ sudo mkdir software
   修改module、software文件夹的所有者cd
   [jinghang@hadoop opt]$ sudo chown jinghang:jinghang module/software/
   [jinghang@hadoop opt]$ll安装jdk：卸载现有JDK查询是否安装Java软件[jinghang@hadoopopt]$ rpm -qa | grep java
   如果安装的版本低于1.7，卸载该JDK：
   [jinghang@hadoop opt]$ sudo rpm -e 软件包
   查看JDK安装路径
   [jinghang@hadoop ~]$which java

用xshell工具将jdk导入到opt目录下面的software 文件夹下面

在Linux系统下的opt目录查看软件包是否导入成功
[jinghang@hadoop opt]$ cd softwaer
[jinghang@hadoop software]$ Ls

解压到/opt/module目录下
[jinghang@hadoop software]$ Tar jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量
[jinghang@hadoop jdk1.8.0_144]$pwd[jinghang@hadoopsoftware]$ Sudo vi /etc/profile
在文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=PATH: PATH:PATH:JAVA_HOME/bin
让修改后的文件生效
[jinghang@hadoop jdk1.8.0_144]$ Source /etc/profile

测试JDK是否安装成功
[jinghang@hadoop jdk1.8.0_144]$ Java -version
输出为 java version “1.8.0_144”为成功 失败需要重启

安装Hadoop
Hadoop下载地址：
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
用Xshell工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

进入到Hadoop安装包路径下
[jinghang@hadoop ~]$ cd /opt/software

解压安装文件到/opt/module下面
[jinghang@hadoop software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

查看是否解压成功
[jinghang@hadoop ~]$ ls /opt/module/

配置环境变量
[jinghang@hadoop hadoop-2.7.2]$ pwd
[jinghang@hadoop hadoop-2.7.2]$ sudo vi /ect/profile
在profile末尾添加jdk路径
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=PATH: PATH:PATH:HADOOP_HOME/bin
export PATH=PATH: PATH:PATH:HADOOP_HOME/sbin
让修改后的文件生效
[jinghang@hadoop hadoop-2.7.2]$ Source /etc/profile

测试是否安装成功
[jinghang@hadoop hadoop-2.7.2]$ Hadoop version
输出为：Hadoop 2.7.2 为成功 失败需要重启
Hadoop目录结构
bin:存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本 etc:Hadoop的配置文件目录，存放Hadoop的配置文件
includ
lib：存放Hadoop的本地库（对数据进行压缩解压缩功能）
Libexec
LICENSE.txt
NOTICE.txt
README.txt
sbin：存放启动或停止Hadoop相关服务的脚本‘’
share：存放Hadoop的依赖jar包、文档和官方案例