大数据技术大会总结 - 5号

2013年12月5日-6日参加了为期两天的2013中国大数据技术大会(Big Data TechnologyConference, BDTC2013)，本期会议主题是：“应用驱动的架构与技术 ”。会议分为全体会议和7个的“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据研究与发展”、“大数据基准测试”“智能交通与大数据”以及“传统行业如何驾驭大数据”主题论坛。

1. 中科院计算所研究员程学旗演讲了《大数据热点问题与发展趋势》和《大数据白皮书》发布，他主要演讲了大数据10大发展趋势。

a. 大数据从概念化走向价值化

b. 大数据处理架构的多样化模式并存

c. 大数据安全与隐私越来越重要

d. 大数据分析与可视化成为热点

e. 大数据产业成为战略性产业

f. 数据的商品化和数据共享的联盟化

g. 基于大数据推荐和预测正逐步流行

h. 大数据性能成为支撑性的技术

i. 数据科学的兴起

j. 大数据生态环境逐步完善

2.经过“第一届中国大数据技术创新与创业大赛”颁奖后，Ion Stoica演讲了《Taming Big Data with Berkeley Data AnalyticsStack(BDAS)》

Ion Stoica是UC Berkeley计算机教授，AMPLab共同创始人，Spark、Mesos核心设计。他主要介绍了Hadoop之外的一个分布式框架BDAS，集成交互查询（类似于HBase）、批处理（类似于MR）、流处理（类似于Storm）到该框架。

主要内容有：

a.BDAS的速度是MR的100倍，代码量比MR少2到5倍，这里的提升主要是由于内存操作，同时他还说，BDAS具有较高的容错性。

b.项目的架构如下图，我感觉大体上和Hadoop的架构差不多。底层存储使用了Tachyon，替代了HDFS，资源管理使用了Mesos替代了Yarn，计算层使用了Spark，替代了MR

c.架构图

3.中国移动研究院孙少陵演讲了《大数据实时处理技术发展趋势及中国移动实践和展望》

随着工信部正式向中国移动、中国联通、中国电信三家发布了4G的牌照，意味着中国正式启动了4G无线宽带的时代。全球移动互联网用户数的增长非常快，比传统互联网增速高三倍，对整个移动通信数据的增长带来了非常大的促进作用。这些数据具有4V的特性，Volume（静止的数据）、Velocity（运动的数据）、Variety（数据形态各异）和Veracity（数据不够准确）等特点

中国移动以及其他运营商对数据挖掘，数据处理，数据分析的实时性需求越来越迫切。面临的主要问题有：

a.实时这种流式数据的处理

数据动态产生，很多数据稍纵即逝，跟位置和时间的关联性非常强，必须及时处理，来了数据处理，处理完马上送上去，流式处理在解决这样的问题

b.海量数据的快速处理

这里主要的内容是批处理，将下级单位的数据汇总，按日、月呈现

c.物联网和互联网事件结合的新型大数据实时处理应用，将实时流计算技术应用于物联网住处综合应用平台，具体架构如下图所示

4. 腾讯数据平台部经理蒋杰演讲的《大数据处理与互联网金融》

蒋杰主要介绍了腾讯公司数据的现状，腾讯是以QQ起家的，有八亿用户，四亿移动用户，加上腾讯网17亿的PB和手机端13亿的PB等。基于这些数据，可以做精准推荐，目前效果比较好的腾讯广点通，它是基于腾讯大社交平台的效果广告产中，在腾讯大社交平台的海量用户积累的基础上，运用大数据技术，进行以人为核心的数据挖掘，实现精准的广告推荐

腾讯内部用到的技术主要包括Hadoop、Spark、Storm和Hbase，并在内部对其进行了改良。下图是腾讯离线系统向实时演进的策略

5. 百度大数据首席架构师林仕鼎演讲的《新计算时代》

他从大数据系统架构师的角度分享了应用驱动软件和软件定义数据中心计算。大数据主要特点有

a.数据规模比以前大很多

b.通过快速迭代进行创新

c.数据处理技术比面向用户服务的技术所占比重更大

6. 阿里飞天平台总架构师唐洪演讲的《飞天开放平台》

唐洪主要介绍了飞天开放平台，干货不多，主要架构如下图所示

总得来说5号的干货真不太多，午餐很给力，比上次CSDN主办的在车库吃盒饭强多了，在BS一下。

6号链接：http://blog.csdn.net/hljlzc2007/article/details/17240133