❤️“大数据”❤️：第十六课：Hadoop进阶学习❤️（建议收藏）

Hadoop进阶学习
什么是大数据
举例：
商品推荐：大量的订单存储、大量的订单如何计算
天气预报：大量的天气数据存储、大量的天气数据如何计算
核心问题：
数据的存储
数据的计算
Hadoop就是要解决的问题就是如上问题
IBM提出的大数据定义：5个V特性
1.Volume： 巨大的数据量
(1)集中储存/集中计算已经无法处理巨大的数据量。
(2)数据量呈指数增长：地震、录井 、石油钻塔的传感器一个月产生的数据量比全球所有的电影加在一起还要多。
(3)新浪微博用户数2.5亿+，高峰每天几亿条。
2.Variety ：非结构化数据多样性
(1)文本/图片/视频/文档等，如诸如微地震，电磁以及光纤分布式温度监测（DTS） 。
3.Velocity：数据增长速度快
(1)用户基数庞大/设备数量众多/实时海量/数据指数级别增长。
4.Value：数据的价值性
(1)每个钻井平台有 40,000 传感器,但是通常只有 10% 的数据使用到。
(2)每个深水钻井平台的投资可达到$150M,能有效利用所有的数据非常关键,关系到安全与优化运营 。
5.Vercity：数据的真实性
Hadoop来源
Google的基本思想（奠定基础：Hadoop原理和运行）：理念来源于Google系统
Google的三篇论文
GFS（Google File System）：
数据的存储–>HDFS（Hadoop Distributed File System）分布式的文件系统
Page Rank（