视频地址:http://www.infoq.com/cn/interviews/jx-alibaba-data-architecture-design
1.数据分析的价值
可以通过询盘来推断进出口额。
阿里的数据直接和钱有关,目的性很强,对宏观经济分析有很高的价值。
可以根据衣服的尺码来推算中国人的体型(胖瘦),有社会价值。
2.大数据需要什么架构来支撑
单机->Oracle Rac->GreanPlum->Hadoop
3.难点
可伸缩性,切分计算资源给不同部门使用(虚拟化?)
4.阿里巴巴数据架构
数据层(存储,预解析):Hadoop
计算层:(GreenPlum和Hadoop运行同样的Job,前者只需要后者1/4的集群规模)大部分用GreenPlum完成,写回hadoop'。
5.挑战
将每个指标作为单独的服务,指标之间必须解耦,一个指标的下线不会影响其他指标。
k-v模型的数据存储优势在于灵活,可以应付各种数据变更(加一列)。
6.对nosql的理解
schema free
cluster
open source
和java(实际上是面向对象)更加贴合
伸缩性非常好,这点对数据量增长迅速的公司尤为重要,为了伸缩性甚至可以牺牲一致性,因为没有伸缩性就不能支持业务的膨胀。
nosql不能代替sql,只能作为补充。
7.选用nosql指标
健壮性
性能
成功案例