大数据概论

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合
大数据 = “海量数据”+“复杂的数据类型”
如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”

Drill/Impala ：内存SQL引擎，Dremel开源实现
BigTop：Hadoop生态系统打包分发与测试
Lucence ：全文搜索引擎
Nutch：爬虫系统
Thrift：网络接口开发工具

数据采集

Flume(NG)
Sqoop
Scribe
Camus

数据存储

数据建模分析

机器学习：Spark MLlib
Mahout
图计算：Spark GraphX
Neo4j

数据分析

HDFS简介

优点

• 处理超大文件
  能用来存储管理PB级的数据 1PB = 1024TB
• 处理非结构化数据
• 流式的访问数据
  一次写入、多次读取
• 运行于廉价的商用机器集群上
  可运行在低廉的商用硬件集群上
  故障时能继续运行且不让用户察觉到明显的中断

局限性

• 不适合处理低延迟数据访问
  HDFS是为了处理大型数据集分析任务的，主要是为了