大数据处理技术导论task01

第一章：大数据概述

• 大数据的四大特点（4V）：数据量大、数据类型繁多、处理速度快和价值密度低，除此之外，还有真实性特点（5V）。
• 大数据处理的关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理技术、大数据分析及挖掘技术、大数据展现与应用技术。

第二章：大数据处理架构Hadoop

• Hadoop是一个分布式处理的软件框架，核心部件包括分布式文件系统（HDFS）和MapReduce。（在某种程度上，Hadoop实现了将多台计算机组织成了一台计算机，去做同一件事情。）
• Hadoop主要特性有：可靠性，高效性，低成本，高容错性.
• Hadoop是可靠的：HDFS对上传的数据进行备份，每个备份叫做一个副本，默认情况下，每个数据块的副本数量是3，以此避免某个服务器宕机，数据丢失的现象
• Hadoop是高效的：Hadoop以并行的方式工作，能够在节点之间动态地移动数据，保证各个节点的动态平衡，提高处理速度。