大数据学习笔记 第一章 大数据简介与概论

大数据笔记 第一章 Hadoop 简介

Hadoop 简介

• Apache 开源软件
• 计算框架： 分布式、可靠、可伸缩
• 搜索引擎、海量数据存储。

Hadoop 发展史

• 2002 Apache 抓取网页，数十亿存储瓶颈
• GFS论文（谷歌），以分布式存储大量数据
• NDFS HDFS 的前身
• 2004 MapReduce 映射化解
• 2005 Nutch 应用MR
• 2006 MapReduce和NDFS分离，行程Hadoop作为独立项目
• 2008Yahoo\一万内核\Hadoop

Hadoop 现状

Yahoo 4.2万节点，10万CPU、大群4500节广告
阿里60pb 30000 core 100T mem

Hadoop 核心问题

海量数据：
1bit=1位
1byte=8位
1kb=1024b
1m=1024kb
1G=1024M
1T=1024G（主流主机存储能力）
1P=1024T
1E=1024P
1Z=1024E
1Y=1024Z

存储问题：
①分割
分布式，dfs：distributed file system
②运算
MapReduce： map（映射）→Reduce（化简）

大数据的特点（4V）

- Volume 大量化
大数据摩尔定律：每两年数据量翻倍、最近两年产生的数据之和等 于之前所有年份产生的数据之和。
- Velocity 高速化
1秒定律（秒级决策）
举例：Dremel 交易查询 服务器集群运算， 每秒1PB的处理速度
- Verity 多样化
结构化数据（规范的table关系型数据）
非结构化数据（视频、音频等）

• Value 价值密度低（信息可靠度低）
  数据量大，但有些数据是没有价值的

大数据的影响

1.全样而非抽样

2.效率而非精确

3.相关而非因果

大数据的应用

两个小案例：

1.影视剧的投拍有风险。 《纸牌屋》 分析报告指出：①奥斯卡影帝②金牌导演 ③同名小说纸牌屋。→能够获得成功

2.谷歌预测流感。

曾经：各医疗机构层层上报门诊病历——专家汇总分析——采取措施

Google： 实时掌握整个美国疾病情况——流感关键词——判断出是否爆发流感

大数据的关键技术

1.分布式存储
解决海量数据的存储问题。
以Google为代表
① 分布式数据库 Big Table
②分布式文件系统GFS
③分布式并行处理技术MapReduce

2.分布式处理
大数据计算模式：
① 批处理 ：针对大规模数据的批量处理。
MapReduce 是批处理计算模式的典型代表，Spark 批处理
②流计算： 针对数据流的实时计算
流数据需要实时处理给出实时响应，否则分析结果失去商业价值 S4 Storm Flume为代表产品
③图计算 针对大规模图结构数据的处理
Google Pregel
④查询分析计算 大规模数据的存储管理和查询分析
Google 的 Dremel Hive

云计算

1.云计算概念
云计算是通过网络以服务的方式为用户提供非常廉价的IT资源。
2.云计算的优势
企业不需要自建IT基础设施，可以租用云端资源。
3.云的三种方式
①公有云 ： 百度云
②私有云： 中国移动内部云
③混合云
4.三种云服务：
①SaaS ——软件即服务。 面向用户，如云财务软件。 典型公司：Salesforce
②PaaS 平台即服务——面向应用开发者
③IaaS基础设施即服务——将基础设施作为服务出租。 面向网络架构师
5.所涉及的技术：
① 多租户②虚拟化③云计算数据中心

物联网

1.物联网概念
The Internet of Things 物联网就是物物相连的互联网，是互联网的延伸。
2.层次架构
**感知层：**摄像头、RFID、传感器等
**网络层：**电信网、互联网、广电网等
**处理层：**服务支撑平台、网络管理平台、信息处理平台、信息安全平台等
**应用层：**智能交通、智能水电、智能农业、智能医疗
3.关键技术
①识别技术 ： 条形码、二维码、RFID无线射频识别
②感知技术

大数据继承云计算