【BDTC讲师】Tachyon作者:大数据存储以及处理框架经验分享

转载 2013年12月03日 18:09:37
摘要:12月5-6日召开的2013中国大数据技术大会,两位来自UC Berkeley计算机系AMPLab的讲师将会带来分享,其中Tachyon系统和Spark Streaming系统作者李浩源将会探讨有关大数据存储以及处理框架方面的研发成果和心得。

两位来自UC Berkeley计算机系AMPLab的讲师——UC Berkeley计算机教授、AMPLab共同创始人Ion Stoica和Tachyon系统及Spark Streaming系统作者李浩源,将会在12月5-6日召开的2013中国大数据技术大会上带来分享。大会前期,我们陆续采访了AMPLab的几位核心成员,包括Ion Stoica辛湜和李浩源,关于李浩源的采访实录如下:

CSDN:首先请介绍一下您自己

李浩源:我是UC Berkeley计算机系AMPLab的博士生,专注于计算机系统和大数据的研究,师从Dr. Scott Shenker和Dr. Ion Stoica两位教授。AMPLab正在开发一个大数据的处理平台叫做Berkeley Data Analytics Stack (BDAS),我是其中Tachyon系统和Spark Streaming系统的作者,也是Apache Spark系统的founding committer。

在伯克利开始博士研究之前,曾在Google和Conviva从事大数据处理挖掘的研发工作,所研发的PFP大数据挖掘算法已被Apache Mahout采用。我分别在北京大学和康奈尔(Cornell)大学获得计算机专业学士学位和硕士学位。

CSDN:请简要介绍下Tachyon项目以及Tachyon适用的应用场景

李浩源:Tachyon是一个高效的分布式存储系统。目前发布的为整体项目的部分功能(缓存部分),此部分功能在一次写、多次读的环境下为系统的性能带来最大的提升。

CSDN:Tachyon目前的发展状况(比如实际应用的商业项目和贡献者等方面)是怎样的?未来的研究方向是什么?是否会考虑像Spark一样商业化?

李浩源:Tachyon是今天4月份开源的,到11月为止已有近20位贡献者,分别来自10家不同机构,其中包括Yahoo、Intel、Adobe等。对于未来的研究方向,一个比较重要的点是更好的与生态系统相结合。AMPLab的Mesos和Spark都已经商业化了,这是一种趋势,但Tachyon目前是否商业化还有诸多因素需要考虑。

CSDN:您目前主要从事哪方面的研究?

李浩源:专业方向为计算机系统和大数据的研究,具体专注于BDAS平台的建设,特别是Tachyon及其相关系统的研发与算法研究。

CSDN:您曾经获得过很多荣誉,尤其是在刚刚过去的SOSP2013上,您参与的两个项目都入选了,您认为自己拥有哪些特质使您在计算机界获得这么多荣誉?对于后辈您有哪些建议?

李浩源:这都是团队的成果,对我来说更是一种鼓励。也谈不上对后辈的建议,可以分享一点从同事和老师们那儿学到的东西,就是明确目标、刻苦工作。

CSDN:能否简要介绍下本次大数据技术大会上,您将给听众带来哪些分享?

李浩源:本次大会上将和大家探讨一些有关大数据存储以及处理框架方面的研发成果和心得。

欢迎关注 @CSDN云计算微博,了解更多云信息。 

第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店召开。Spark核心设计者、Databricks创始人兼CEO Ion Stoica,Apache HBase项目管理委员会主席Michael Stack、百度大数据首席架构师林仕鼎、华为公司诺亚方舟实验室主任杨强、Apache Tez commiter Bikas Saha大数据技术专家领衔,来自腾讯、阿里巴巴、Hortonworks、LinkedIn、小米、Intel等50余位工程师带来近60场干货分享,更有《中国智能交通与大数据技术峰会》专场感受智能交通如何改变生活。 

相关文章推荐

【BDTC2016】大数据分析与生态系统论坛:大数据存储、处理技术大比评 百花齐放落地实践大展现

2016年12月8-10日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司与CSDN共同协办,以“聚焦行业最佳实践,数据与应用的深度...

探索Tachyon的内存数据存储

这是以前我刚学习使用时,写的一篇翻译 对大数据快速处理来说,内存是关键的环节。这已经被很多框架实现了,比如Spark已经利用了内存性能。随着数据集的继续增大,在许多大工作量中,存储正处于逐渐一个瓶颈的...

BDTC2014中国大数据技术大会

2014中国大数据技术大会32位核心专家演讲PDF下载汇总(重磅资料)下载地址: http://download.csdn.net/detail/zhongwen7710/8295907 ...

大数据存储技术进展2017

  • 2017-08-17 16:26
  • 900KB
  • 下载

网站大数据存储

  • 2013-03-04 00:32
  • 30.83MB
  • 下载

2016年值得关注的大数据存储管理技术

目前电信、金融、零售等行业希望通过大数据的分析手段来帮助自己做出理性的决策。特别是电信和金融行业表现尤为突出,市场数据没有办法与用户消费数据打通。而它们面临的第一个问题就是海量数据存储的问题。多数企业...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)