初识大数据--Hadoop大数据平台架构与实践

Hadoop大数据平台架构与实践

推荐书籍：

⭐大数据存储与处理技术的原理(理论)

⭐Hadoop的使用和开发能力(实践)

预备知识：

Linux常用命令

Java基础编程

1、大数据相关概念

​ 无处不在的大数据，科学数据、金融数据、零售数据、社交网络数据、交通数据、物联网数据等。

​ 马云：“21世纪核心的竞争是数据的竞争。谁拥有更多数据，谁就拥有未来。”

初始Hadoop

​ 如何对大数据进行存储和分析呢？

​ 系统瓶颈：存储容量、读写速率、计算效率…

​ 谷歌大数据技术：MapReduce、BigTables、GFS

​ 革命性的变化

​ 1：成本降低，能用PC机，就不用大型机和高端存储。

​ 2：软件容错硬件故障视为常态，通过软件保证可靠性。

​ 3：简化并行分布式计算，无须控制节点同步和数