大数据BigData总结笔记(一)

一 什么是大数据?

大数据（big data），IT行业术语，P级甚至是E级数据级,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

三个案例

19g 的txt文件 : 无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合
买枪案例 : 洞察发现力
啤酒和尿布案例 : 更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1]  
中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。
大数据的5V特点（IBM提出）：
Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

Value（低价值密度） 一条数据提取不到有价值的内容,海量数据集合在一起才能分析出有用的价值

所以大数据就是:海量数据及其处理方式

二 大数据生态圈介绍

1.数据获取 海量数据从哪里来?

爬虫: python , jsoup , nutch
	(最好的爬虫语言是python->语法简洁 编译运行速度特别慢)
日志: flume 收集日志, log4j 打印日志
历史数据: hive , mysql , Oracle
	趋势分析决定现在的行为和以后