大数据 Big Data 学习笔记 大数据框架

一、Big Data名字由来

• 20世纪九十年代，数据仓库之父Bill lnmon就经常提及Big Data。
• 2011年5月，在“云计算相遇大数据”为主题的会议中抛出了Big Data的概念，重点是如何管理PB级数据量，通过分析挖掘这些数据的价值，确保及时向相关人员提供信息。

二、Big Data定义

1.定义

• 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据结合。
• 通俗来讲，就是数据存储，数据管理，数据计算与数据分析。

2.本质

• 物理世界在数字世界的映像。

3.目标

• 更多维度的数据，挖掘事务背后的因果关系。

三、大数据的四个微特征

1.数据量巨大 （Volume）

• 集中存储/集中计算已经无法处理巨大的数据量

2.种类和来源多样化 （Variety）

• 日志/图片/视频/文档/地理位置…

3.分析处理速度快（Velocity）

• 海量数据的及时有效分析。

4.价值密度低，商业价值高（Value）

• 大量的不相关信息进行复杂深度分析，深挖价值。

四、大数据的结构特征

1.结构化数据

例如关系型数据库中的二维表。这类数据最容易处理。

2.半结构化数据

例如HTML。

3.非结构化数据

例如视频、语音等。这类数据最多，但是最不容易处理。

五、数据处理技术分布式演进趋势

六、Hadoop大数据处理平台

• Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

七、华为大数据解决方案（Fusion Insight）

• Fusion Insight Miner：数据分析、数据挖掘
• Fusion Insight HD：数据存储和数据计算
• Fusion Insight Farmer：应用级的开发容器
• Fusion Insight LibrA：数据存储（数据库）
  

八、电信级可靠性

1. 系统可靠性

• 业务无单点
  • 组件采用主备，负荷分担方式实现服务无单点故障
• 管理节点HA
  • OMS节点及所有街舞组件中心管理节点实现HA
  • HA就是高可用
• 跨DC容灾/备份
  • HBase集群通过HLOG准实时复制，HDFS/Hive集群通过Backup Admin异步复制实现跨数据中心灾备
  • 备份是数据，容灾是业务
• 第三方备份系统集成
  • 数据可以灵活的备份在外部系统如NAS、磁带库，只是和NBU等备份软件集成

2. 数据可靠性

• OS层可靠性加固：
  • RAID/OS写缓存保护实现掉电数据保护。
• Raid策略：
  • OS，OMS，NameNode，ZK及HDFS数据节点采用不同硬盘分区及Raid策略，兼顾性能情况下保证数据可靠性。
• 快速故障检测：
  • 结合华为存储产品经验，尽快发现故障硬盘，降低MTTR，提高数据可靠性。
• 硬盘热插拔：
  • 支持在线集群硬盘更换不影响业务，降低MTTR。
• 第三方备份系统集成：
  • 数据可以灵活的备份在外部系统如NAS、磁带库，只是和NBU等备份软件集成。
• 跨数据中心数据备份：
  • HBase 集群通过HLOG准实时复制，HDFS/Hive集群通过BackupAdmin异步复制实现跨数据中心备灾。