大数据算法（一）

1.大数据算法的定义

在给定的资源约束下，以大数据为输入，在给定的时间约束内可以生成满足给定约束结果的算法。

大数据算法可以不是

精确算法
内存算法
串行算法
仅在电子计算机上运行的算法

大数据算法不仅是

云计算
Mapreduce
大数据分析和挖掘的算法

2.大数据的特点和大数据算法

数据量大（Volume）
速度快（velocity）
多样性（varietyt）
价值（Value）

3.大数据的难度

访问全部数据时间过长

读取部分数据

数据难以放入内存计算

将数据存储到磁盘上
仅基于少数数据进行计算

单个计算机难以解决

并行计算

计算机计算能力不足或者知识不足

人来帮忙

4.大数据算法设计技术

精确算法设计方法
并行算法
近似算法
随机算法
在线算法/数据流算法
外存算法
面向新型体系结构的算法（如设计GPU的排序算法）
现代优化算法（遗传算法 蚁群算法等）

算法分析

时间复杂度
IO复杂性（外存与内存）
结果质量（j近似比 ）
通讯复杂性（并行时节点间通信）

这门课的内容

亚线性算法
外存算法
并行算法
众包算法