姜迅谈阿里设计数据架构和经验

视频地址：http://www.infoq.com/cn/interviews/jx-alibaba-data-architecture-design

1.数据分析的价值

可以通过询盘来推断进出口额。

阿里的数据直接和钱有关，目的性很强，对宏观经济分析有很高的价值。

可以根据衣服的尺码来推算中国人的体型（胖瘦），有社会价值。

2.大数据需要什么架构来支撑

单机->Oracle Rac->GreanPlum->Hadoop

3.难点

可伸缩性，切分计算资源给不同部门使用（虚拟化？）

4.阿里巴巴数据架构

数据层（存储，预解析）：Hadoop

计算层：(GreenPlum和Hadoop运行同样的Job,前者只需要后者1/4的集群规模）大部分用GreenPlum完成，写回hadoop'。

5.挑战

将每个指标作为单独的服务，指标之间必须解耦，一个指标的下线不会影响其他指标。

k-v模型的数据存储优势在于灵活，可以应付各种数据变更（加一列）。

6.对nosql的理解

schema free

cluster

open source

和java（实际上是面向对象）更加贴合

伸缩性非常好，这点对数据量增长迅速的公司尤为重要，为了伸缩性甚至可以牺牲一致性，因为没有伸缩性就不能支持业务的膨胀。

nosql不能代替sql,只能作为补充。

7.选用nosql指标

健壮性

性能

成功案例