Hadoop大数据平台架构与实践
推荐书籍:
⭐大数据存储与处理技术的原理(理论)
⭐Hadoop的使用和开发能力(实践)
预备知识:
Linux常用命令
Java基础编程
1、大数据相关概念
无处不在的大数据,科学数据、金融数据、零售数据、社交网络数据、交通数据、物联网数据等。
马云:“21世纪核心的竞争是数据的竞争。谁拥有更多数据,谁就拥有未来。”
初始Hadoop
如何对大数据进行存储和分析呢?
系统瓶颈:存储容量、读写速率、计算效率…
谷歌大数据技术:MapReduce、BigTables、GFS
革命性的变化
1:成本降低,能用PC机,就不用大型机和高端存储。
2:软件容错硬件故障视为常态,通过软件保证可靠性。
3:简化并行分布式计算,无须控制节点同步和数据交换。
Google只是发表了相关的技术论文,而没有开放源代码。所以,出现了一个模仿Google大数据技术的开源实现,Hadoop。