大数据开始

大数据
1.大数据概念
大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。《节选自百度百科》
主要解决的是 海量数据的存储、海量数据的分析计算、统一资源管理调度。
存储单位(由小到大)：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
大数据特点：1、volume（大量） 2、velocity（高速） 3、variety（多样） 4、value（低价值密度）
2.Hadoop
1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2、主要解决，海量数据的存储和海量数据的分析计算问题。
3、广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈
2.1三大发行版本
Apache 最原始的版本，对于入门学习最好
Cloudera 在大型互联网企业中用的比较多
Hortonworks 文档较好
2.2Hadoop的优势（4高）
1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2、高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
3、高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4、高容错性：能够自动将失败的任务重新分配。
2.3Hadoop组成（1.x和2.x的区别）
在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度。MapReduce只负责运算。

2.4架构概述
2.4.1HDFS架构概述
HDFS组成：NameNode、DataNode、Secondary NameNode
作用：
NameNode(nn) : 存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNdoe等。
DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
2.4.2YARN架构概述
YARN组成：
ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)、Container
作用：
ResourceManager：1、处理客户端请求。2、监控NodeManager。3、启动或监控ApplicationMaster。4、资源的分配与调度。
NodeManager：1、管理单个节点上的资源。2、处理来自ResourceManager的命令。3、处理来自ApplicationMaster的命令。
ApplicationMaster：1、负责数据的切分。2、为应用程序申请资源并分配给内容的任务。3、任务的监控与容错
Container：它是Yarn中的资源抽象，它封装了某个节点上的多维度资源。如内存、cpu、磁盘、网络等。

2.4.3MapReduce架构概述
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总。

3.Hadoop运行环境搭建（开发重点）
3.1虚拟机环境准备

1. 克隆虚拟机

2. 修改克隆虚拟机的静态IP

3. 修改主机名

4. 关闭防火墙

5. 创建jinghang用户

6. 配置jinghang用户具有root权限（详见《大数据技术之Linux》）

7. 在/opt目录下创建module、software 文件夹
   3.2安装jdk
   1、查询是否安装java软件 如果是1.7以下的话卸载掉
   Rpm -qa | grep java
   2、用xshell工具将jdk导入到opt目录下面的software 文件夹下面
   3、在Linux系统下的opt目录查看软件包是否导入成功
   Cd softwaer
   Ll
   4、解压到/opt/module目录下
   Tar jdk-8u144-linux-x64.tar.gz -C /opt/module/
   5、配置JDK环境变量
   Sudo vi /etc/profile
   在文件末尾添加JDK路径
   export JAVA_HOME=/opt/module/jdk1.8.0_144
   export PATH=$PATH:$JAVA_HOME/bin
   让修改后的文件生效
   Source /etc/profile
   6、测试JDK是否安装成功
   Java -version
   输出为 java version “1.8.0_144”为成功 失败需要重启
   3.3安装Hadoop
   1、用Xshell工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
   2、进入到Hadoop安装包路径下
   Cd /opt/software
   3、解压安装文件到/opt/module下面
   tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
   4、查看是否解压成功
   Ls /opt/module/
   5、配置环境变量
   在profile末尾添加
   export HADOOP_HOME=/opt/module/hadoop-2.7.2
   export PATH=$PATH:$HADOOP_HOME/bin
   export PATH=$PATH:$HADOOP_HOME/sbin
   让修改后的文件生效
   Source /etc/profile
   6、测试是否安装成功
   Hadoop version
   输出为：Hadoop 2.7.2 为成功 失败需要重启
   3.4Hadoop目录结构
   重要目录：
   bin目录：存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
   etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
   lib目录：存放Hadoop的本地库(对数据进行压缩解压缩功能)
   sbin目录：存放启动或停止Hadoop相关服务的脚本
   share目录：存放Hadoop的依赖jar包、文档、和官方案例