Hadoop基础知识
分治思想
单机处理大数据的问题
需求:
- 有一个非常大的文本文件(1TB),里面有几百亿行,只有两行内容一样,它们出现在未知的位置,需要查找到它们。
- 硬件:单台机器,而且可用的内存很少, 只有500MB
思考:
- 假如IO速度是500MB/S
- 1T文件读取1次需要约30分钟
- 循环遍历需要N次IO时间
- 分治思想可以使时间降为2次IO
解决:
- 分为2000个文件块
- readLine读取每一行,通过哈希运算
- 内存中做比较运算
需求:如何对1TB文件进行排序,从小到大
思考:
- 读到的每一行进行hashcode,根据区间分到不同的块,大于1000和小于等于2000的放在1(序号 1块)。
- 将每一块500M内容一次读入到内存里,在内存中对该文件块进行排序,进行快排。再取第二块依次顺序这样执行。 内外部都排序
需求:如何实现分钟、秒级别。
解决1:*台机器,可用的内存500MB
解决2:集群分布式
大数据部门
大数据部门业务流程分析:
- 产品人员提需求(统计总用户数、日活跃用户数、回流用户数等)
- 数据部门搭建数据平台、分析数据指标
- 数据可视化(报表展示、邮件发送、大屏幕展示等)
第一章 Hadoop概念
Spark逐渐代替MapReduce成为Hadoop的缺省执行引擎。
- Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
- 主要解决,海量数据的存储和海量数据的分析计算问题。
- 广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
Apache Hadoop
官方地址:http://hadoop.apache.org/releases.html
下载地址:https://archive.apacheorg/dist/hadoop/common/
Hadoop的优势(4高)
- 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
- 高可扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
- 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
- 高容错性:能够自动将失败的任务重新分配。
1、核心组件
Hadoop1.x和Hadoop2.x区别
-
hadoop通用组件 - Hadoop Common
包含了其他hadoop模块要用到的库文件和工具 -
分布式文件系统 - Hadoop Distributed File System(HDFS)
运行于通用硬件上的分布式文件系统,高吞吐,高可靠。 负责存储 -
资源管理组件 - Hadoop YARN
YARN是资源调度 -
分布式计算框架 - Hadoop MapReduce
用于处理超大数据集计算的MapReduce编程模型的实现
Hadoop的三大核心组件:HDFS分布式文件系统,MapReduce分布式计算框架,Yarn集群资源管理系统
2、hadoop关联项目
- Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
- Avrom:数据序列化系统
- Cassandra 是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTab1e的数据模型与Amazon Dynamo的完全分布式的架构于一身,Facebook于2008将Cassandra开源。
(国内用的比较多的是HBase) - chukwa是一个开源的用于监控大型分布式系统的数据收集系统。这是构建在hadoop的HDES和MapReduce框架之上的,继承了hadoop的可伸缩性和健壮性。chukwa还包含了一个强大和灵活的工具集,可用于展示、监控和分析已收集的数据。
- hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce 任务进行运行。
- Apache Pig 是一个高级过程语言,适合于使用Hadoop和MapReduce平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似SQL的查询,Pig 可以简化Hadoop的使用。
- Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab 开源的类Hadoop MapReduce的通用并行框架,拥有 MapReduce所具有的优点;但是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark 能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
- ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
- HBase是一个分布式的、高可靠性、高性能、面向列、可伸缩的分布式存储系统,该技术来源于Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。
(存储在HDFS,属于nosql 非关系)
第二章 Hadoop架构
1、前提和设计目标
1、硬件错误
- 硬件错误是常态而不是异常
- HDFS可能由成百上千的服务器所构成,单机故障概率的存在意味着总有一部分服务器不工作的。
- 错误检测和快速自动恢复是HDFS最核心架构目标。
2、流式数据访问
- 运行在HDFS上的应用需要流式访问它们的数据集。
- HDFS的设计重点是批处理,而不是交互处理。是高吞吐量而不是低延迟。(批处理:数据积攒到一定量开始计算。 流处理:流水生产线。)
- 为了提高数据的吞吐量,在关键方面修改POSIX的语义
3、大规模数据集
- HDFS上的一个典型文件大小一般都在G字节至T字节。 TB PB ZB
- HDFS支持大文件存储
- 单一HDFS实例能支撑数以千万计的文件。
4、简单的一致性模型
- HDFS应用遵循“一次写入多次读取”的文件访问模型。
- 简化了数据一致性问题,并且使吞吐量的数据访问成为可能。
- Map/Reduce应用或者网络爬虫应用都非常适合这个模型。
5、移动计算比移动数据更划算
- 降低网络阻塞的影响,提高系统数据的吞吐量。
- 将计算程序发送到数据所在的主机,让GB级别TB级别的数据移动更便捷
6、异构软硬件平台间的可移植性
- HDFS在设计的时候就考虑到平台的可移植性
- 这种特性方便了HDFS作为大规模数据应用平台的推广
2、HDFS架构
问题:
100台服务器,存储空间单个100GB,总共10T
5T文件如何存储?
128MB一块,128MB * 8 = 1GB,128 * 8 * 1024=1TB
128B(字节),KB,MB
1)NameNode(nm):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。
2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和
3)Secondary NameNode(2nm):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。
3、YARN架构
Container主要是为App Mst服务,因为Job想运行,需要资源
4、MapReduce架构
MapReduce将计算过程分为两个阶段:Map和Reduce,
1)Map阶段并行处理输入数据,分发
2)Reduce阶段对Map结果进行汇总
大数据技术生态体系
Spark Streaming 实时批处理计算
Storm 实时计算
图中涉及的技术名词解释如下:
1)Sqoop:Sqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
2)Flume:Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
3)Kafka:Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:
(1)通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
(2)高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
(3)支持通过Kafka服务器和消费机集群来分区消息。
(4)支持Hadoop并行数据加载。
4)Storm:Storm用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户。
5)Spark:Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
6)Oozie:Oozie是一个管理Hdoop作业(job)的工作流程调度管理系统。
7)Hbase:HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
8)Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
10)R语言:R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
11)Mahout:Apache Mahout是个可扩展的机器学习和数据挖掘库。
12)ZooKeeper:Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。