第一章:大数据概述
- 大数据的四大特点(4V):数据量大、数据类型繁多、处理速度快和价值密度低,除此之外,还有真实性特点(5V)。
- 大数据处理的关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理技术、大数据分析及挖掘技术、大数据展现与应用技术。
第二章:大数据处理架构Hadoop
- Hadoop是一个分布式处理的软件框架,核心部件包括分布式文件系统(HDFS)和MapReduce。(在某种程度上,Hadoop实现了将多台计算机组织成了一台计算机,去做同一件事情。)
- Hadoop主要特性有:可靠性,高效性,低成本,高容错性.
- Hadoop是可靠的:HDFS对上传的数据进行备份,每个备份叫做一个副本,默认情况下,每个数据块的副本数量是3,以此避免某个服务器宕机,数据丢失的现象
- Hadoop是高效的:Hadoop以并行的方式工作,能够在节点之间动态地移动数据,保证各个节点的动态平衡,提高处理速度。