大数据笔记 第一章 Hadoop 简介
Hadoop 简介
- Apache 开源软件
- 计算框架: 分布式、可靠、可伸缩
- 搜索引擎、海量数据存储。
Hadoop 发展史
- 2002 Apache 抓取网页,数十亿存储瓶颈
- GFS论文(谷歌),以分布式存储大量数据
- NDFS HDFS 的前身
- 2004 MapReduce 映射化解
- 2005 Nutch 应用MR
- 2006 MapReduce和NDFS分离,行程Hadoop作为独立项目
- 2008Yahoo\一万内核\Hadoop
Hadoop 现状
Yahoo 4.2万节点,10万CPU、大群4500节广告
阿里60pb 30000 core 100T mem
Hadoop 核心问题
海量数据:
1bit=1位
1byte=8位
1kb=1024b
1m=1024kb
1G=1024M
1T=1024G(主流主机存储能力)
1P=1024T
1E=1024P
1Z=1024E
1Y=1024Z
存储问题:
①分割
分布式,dfs:distributed file system
②运算
MapReduce: map(映射)→Reduce(化简)
大数据的特点(4V)
- Volume 大量化
大数据摩尔定律:每两年数据量翻倍、最近两年产生的数据之和等 于之前所有年份产生的数据之和。
- Velocity 高速化
1秒定律(秒级决策)
举例:Dremel 交易查询 服务器集群运算, 每秒1PB的处理速度
- Verity 多样化
结构化数据(规范的table关系型数据)
非结构化数据(视频、音频等)
- Value 价值密度低(信息可靠度低)
数据量大,但有些数据是没有价值的
大数据的影响
1.全样而非抽样
2.效率而非精确
3.相关而非因果
大数据的应用
两个小案例:
1.影视剧的投拍有风险。 《纸牌屋》 分析报告指出:①奥斯卡影帝②金牌导演 ③同名小说纸牌屋。→能够获得成功
2.谷歌预测流感。
曾经:各医疗机构层层上报门诊病历——专家汇总分析——采取措施
Google: 实时掌握整个美国疾病情况——流感关键词——判断出是否爆发流感
大数据的关键技术
1.分布式存储
解决海量数据的存储问题。
以Google为代表
① 分布式数据库 Big Table
②分布式文件系统GFS
③分布式并行处理技术MapReduce
2.分布式处理
大数据计算模式:
① 批处理 :针对大规模数据的批量处理。
MapReduce 是批处理计算模式的典型代表,Spark 批处理
②流计算: 针对数据流的实时计算
流数据需要实时处理给出实时响应,否则分析结果失去商业价值 S4 Storm Flume为代表产品
③图计算 针对大规模图结构数据的处理
Google Pregel
④查询分析计算 大规模数据的存储管理和查询分析
Google 的 Dremel Hive
云计算
1.云计算概念
云计算是通过网络以服务的方式为用户提供非常廉价的IT资源。
2.云计算的优势
企业不需要自建IT基础设施,可以租用云端资源。
3.云的三种方式
①公有云 : 百度云
②私有云: 中国移动内部云
③混合云
4.三种云服务:
①SaaS ——软件即服务。 面向用户,如云财务软件。 典型公司:Salesforce
②PaaS 平台即服务——面向应用开发者
③IaaS基础设施即服务——将基础设施作为服务出租。 面向网络架构师
5.所涉及的技术:
① 多租户②虚拟化③云计算数据中心
物联网
1.物联网概念
The Internet of Things 物联网就是物物相连的互联网,是互联网的延伸。
2.层次架构
**感知层:**摄像头、RFID、传感器等
**网络层:**电信网、互联网、广电网等
**处理层:**服务支撑平台、网络管理平台、信息处理平台、信息安全平台等
**应用层:**智能交通、智能水电、智能农业、智能医疗
3.关键技术
①识别技术 : 条形码、二维码、RFID无线射频识别
②感知技术
大数据继承云计算