大数据学习笔记(0)--hadoop基本框架和相关概念

最新推荐文章于 2024-05-02 20:24:27 发布

qq_43349416

最新推荐文章于 2024-05-02 20:24:27 发布

阅读量240

点赞数

分类专栏：大数据学习文章标签： hadoop

本文链接：https://blog.csdn.net/qq_43349416/article/details/107197488

版权

大数据学习专栏收录该内容

6 篇文章 1 订阅

订阅专栏

一、大数据概念

大数据(Big Data) :指无法在一-定时间范围内用常规软件工具进行捕捉、管理
和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程
优化能力的海量、高增长率和多样化的信息资产。

二、大数据特点（4V）

1、Volume（大量）

人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共说过的截至目前话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。

2、Velocity（高速）

这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。

3、Variety（多样）

类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

4、Value（低密度价值）

价值密度的高低与数据总量的大小成反比。比如，在一天监控视频中，我们只关心宋宋老师晚上在床上健身那一分钟，如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。

三、大数据的业务流程分析

大数据业务流程分析
部门组织结构

四、Hadoop

1、Hadoop生态圈

我们通常说到的hadoop包括两部分，一是Hadoop核心技术（或者说狭义上的hadoop），对应为apache开源社区的一个项目，主要包括三部分内容：hdfs，mapreduce，yarn。其中hdfs用来存储海量数据，mapreduce用来对海量数据进行计算，yarn是一个通用的资源调度框架（是在hadoop2.0中产生的）。

另一部分指广义的，广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如hbase、hive、spark、pig、zookeeper、kafka、flume、phoenix、sqoop等。

生态圈中的这些组件或产品相互之间会有依赖，但又各自独立。比如habse和kafka会依赖zookeeper，hive会依赖mapreduce。

链接：https://www.jianshu.com/p/9918fb395d1e
生态圈
生态体系

2、Hadoop三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。
Apache版本最原始（最基础）的版本，对于入门学习最好。
Cloudera在大型互联网企业中用的较多。
Hortonworks文档较好。

3、Hadoop的优势

1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4）高容错性：能够自动将失败的任务重新分配。

4、hadoop组成

hadoop1.X和hadoop2.X的区别
1和2的区别

五、Hadoop三大核心组件

1、HDFS架构

1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
3）Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。