大数据Hadoop入门

大数据（Big Data）：值无法在一定时间范围内常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
主要解决的是 海量数据的存储、海量数据的分析计算、统一资源管理调度。
存储单位(由小到大)：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
大数据特点：1、volume（大量）
2、velocity（高速）
3、variety（多样）：分为结构化数据和非结构化数据
4、value（低价值密度）：价值密度的高低与数据量成反比

Hadoop

1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2、主要解决，海量数据的存储和海量数据的分析计算问题。
3、广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈

Hadoop三大发行版本

1，Apache:最原始（最基础）的把版本，对于入门学习最好
Apache Hadoop
官网地址：http://hadoop.apache.org/releases.html
下载地址：https://archive.apache.org/dist/hadoop/common/
2，Cloidera:在大型互联网企业中用的较多
官网地址：https://www.cloudera.com/downloads/cdh/5-10-0.html
下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
3，Hortonworks:文档较好
官网地址：https://hortonworks.com/products/data-center/hdp/
下载地址：https://hortonworks.com/downloads/#data-platform
Hadoop的优势
1，高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2，高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点
3，高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
高容错性：能够自动将失败的任务重新分配

Hadoop组成：

Hadoop1.x和Hadoop2.x区别？
在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了yarn，yarn只负责资源调度，MapReduce只负责运算。

HDFS框架、YARN框架、MapReduce框架 概述：
（一）HDFS架构
HDFS组成：NameNode、DataNode、Secondary NameNode
作用：
NameNode(nn) : 存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNdoe等。
DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
2.4.2YARN架构概述
（二）YARN组成：
ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)、Container
作用：
ResourceManager：1、处理客户端请求。2、监控NodeManager。3、启动或监控ApplicationMaster。4、资源的分配与调度。
NodeManager：1、管理单个节点上的资源。2、处理来自ResourceManager的命令。3、处理来自ApplicationMaster的命令。
ApplicationMaster：1、负责数据的切分。2、为应用程序申请资源并分配给内容的任务。3、任务的监控与容错
Container：它是Yarn中的资源抽象，它封装了某个节点上的多维度资源。如内存、cpu、磁盘、网络等。

（三）MapReduce架构概述
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总。

Hadoop运行环境搭建（重点）

在进行配置之前需要先了解Hadoop文件的作用：

Linux系统必须安装jdk，和Hadoop ：
-------jdk-8u144-linux-x64.tar.gz
-------hadoop-2.7.2.tar.gz
虚拟机环境准备
/etc/hosts

1，克隆虚拟机,
2，修改克隆虚拟机的静态IP
3，修改主机名
4，关闭防火墙
5，创建jinghang用户
6，配置jinghang用户具有root权限
7．在/opt目录下创建module、software文件夹
[jinghang@hadoop ]$ sudo mkdir module
[jinghang@hadoop ]$ sudo mkdir software
修改module、software文件夹的所有者cd
[jinghang@hadoop ]$ sudo chown jinghang:jinghang module/software/
[jinghang@hadoop ]ll安装jdk：卸载现有JDK查询是否安装Java软件[jinghang@hadoop ] ll安装jdk：卸载现有JDK查询是否安装Java软件[jinghang@hadoop ]ll安装jdk：卸载现有JDK查询是否安装Java软件[jinghang@hadoop ] rpm -qa | grep java
如果安装的版本低于1.7，卸载该JDK：
[jinghang@hadoop]$ sudo rpm -e 软件包
查看JDK安装路径
[jinghang@hadoop ~]$which java
用xshell工具将jdk导入到opt目录下面的software 文件夹下面

在Linux系统下的opt目录查看软件包是否导入成功
[jinghang@hadoop ]$ cd softwaer
[jinghang@hadoop software]$ Ls

解压到/opt/module目录下
[jinghang@hadoop software]$ Tar jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量
[jinghang@hadoop jdk1.8.0_144]pwd[jinghang@hadoopsoftware] pwd[jinghang@hadoop software]pwd[jinghang@hadoopsoftware] Sudo vi /etc/profile
在文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=PATH: PATH:PATH:JAVA_HOME/bin
让修改后的文件生效
[jinghang@hadoop jdk1.8.0_144]$ Source /etc/profile

测试JDK是否安装成功
[jinghang@hadoop jdk1.8.0_144]$ Java -version
输出为 java version “1.8.0_144”为成功 失败需要重启

安装Hadoop
Hadoop下载地址：
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
用Xshell工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

进入到Hadoop安装包路径下
[jinghang@hadoop ~]$ cd /opt/software

解压安装文件到/opt/module下面
[jinghang@hadoop software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

查看是否解压成功
[jinghang@hadoop ~]$ ls /opt/module/

配置环境变量
[jinghang@hadoop hadoop-2.7.2]$ pwd
[jinghang@hadoop hadoop-2.7.2]$ sudo vi /ect/profile
在profile末尾添加jdk路径
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=PATH: PATH:PATH:HADOOP_HOME/bin
export PATH=PATH: PATH:PATH:HADOOP_HOME/sbin
让修改后的文件生效
[jinghang@hadoop hadoop-2.7.2]$ Source /etc/profile

测试是否安装成功
[jinghang@hadoop hadoop-2.7.2]$ Hadoop version
输出为：Hadoop 2.7.2 为成功 失败需要重启
Hadoop目录结构
bin:存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本 etc:Hadoop的配置文件目录，存放Hadoop的配置文件
includ
lib：存放Hadoop的本地库（对数据进行压缩解压缩功能）
Libexec
LICENSE.txt
NOTICE.txt
README.txt
sbin：存放启动或停止Hadoop相关服务的脚本‘’
share：存放Hadoop的依赖jar包、文档和官方案例