【BDTC讲师】Tachyon作者:大数据存储以及处理框架经验分享

转载 2013年12月03日 18:09:37
摘要:12月5-6日召开的2013中国大数据技术大会,两位来自UC Berkeley计算机系AMPLab的讲师将会带来分享,其中Tachyon系统和Spark Streaming系统作者李浩源将会探讨有关大数据存储以及处理框架方面的研发成果和心得。

两位来自UC Berkeley计算机系AMPLab的讲师——UC Berkeley计算机教授、AMPLab共同创始人Ion Stoica和Tachyon系统及Spark Streaming系统作者李浩源,将会在12月5-6日召开的2013中国大数据技术大会上带来分享。大会前期,我们陆续采访了AMPLab的几位核心成员,包括Ion Stoica辛湜和李浩源,关于李浩源的采访实录如下:

CSDN:首先请介绍一下您自己

李浩源:我是UC Berkeley计算机系AMPLab的博士生,专注于计算机系统和大数据的研究,师从Dr. Scott Shenker和Dr. Ion Stoica两位教授。AMPLab正在开发一个大数据的处理平台叫做Berkeley Data Analytics Stack (BDAS),我是其中Tachyon系统和Spark Streaming系统的作者,也是Apache Spark系统的founding committer。

在伯克利开始博士研究之前,曾在Google和Conviva从事大数据处理挖掘的研发工作,所研发的PFP大数据挖掘算法已被Apache Mahout采用。我分别在北京大学和康奈尔(Cornell)大学获得计算机专业学士学位和硕士学位。

CSDN:请简要介绍下Tachyon项目以及Tachyon适用的应用场景

李浩源:Tachyon是一个高效的分布式存储系统。目前发布的为整体项目的部分功能(缓存部分),此部分功能在一次写、多次读的环境下为系统的性能带来最大的提升。

CSDN:Tachyon目前的发展状况(比如实际应用的商业项目和贡献者等方面)是怎样的?未来的研究方向是什么?是否会考虑像Spark一样商业化?

李浩源:Tachyon是今天4月份开源的,到11月为止已有近20位贡献者,分别来自10家不同机构,其中包括Yahoo、Intel、Adobe等。对于未来的研究方向,一个比较重要的点是更好的与生态系统相结合。AMPLab的Mesos和Spark都已经商业化了,这是一种趋势,但Tachyon目前是否商业化还有诸多因素需要考虑。

CSDN:您目前主要从事哪方面的研究?

李浩源:专业方向为计算机系统和大数据的研究,具体专注于BDAS平台的建设,特别是Tachyon及其相关系统的研发与算法研究。

CSDN:您曾经获得过很多荣誉,尤其是在刚刚过去的SOSP2013上,您参与的两个项目都入选了,您认为自己拥有哪些特质使您在计算机界获得这么多荣誉?对于后辈您有哪些建议?

李浩源:这都是团队的成果,对我来说更是一种鼓励。也谈不上对后辈的建议,可以分享一点从同事和老师们那儿学到的东西,就是明确目标、刻苦工作。

CSDN:能否简要介绍下本次大数据技术大会上,您将给听众带来哪些分享?

李浩源:本次大会上将和大家探讨一些有关大数据存储以及处理框架方面的研发成果和心得。

欢迎关注 @CSDN云计算微博,了解更多云信息。 

第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店召开。Spark核心设计者、Databricks创始人兼CEO Ion Stoica,Apache HBase项目管理委员会主席Michael Stack、百度大数据首席架构师林仕鼎、华为公司诺亚方舟实验室主任杨强、Apache Tez commiter Bikas Saha大数据技术专家领衔,来自腾讯、阿里巴巴、Hortonworks、LinkedIn、小米、Intel等50余位工程师带来近60场干货分享,更有《中国智能交通与大数据技术峰会》专场感受智能交通如何改变生活。 

【BDTC讲师】Tachyon作者:大数据存储以及处理框架经验分享

两位来自UC Berkeley计算机系AMPLab的讲师——UC Berkeley计算机教授、AMPLab共同创始人Ion Stoica和Tachyon系统及Spark Streaming系统作者李浩...
  • u013004895
  • u013004895
  • 2013年11月30日 15:42
  • 609

Tachyon简介

Tachyon是以内存为中心的分布式文件系统,拥有高性能和容错能力,能够为集群框架(如Spark、MapReduce)提供可靠的内存级速度的文件共享服务。从软件栈的层次来看,Tachyon是位于现有大...
  • u014252240
  • u014252240
  • 2014年12月08日 22:14
  • 8630

Tachyon部署与使用指南

Tachyon部署与使用指南Tachyon美[‘tæki:ˌɒn]安装1、目前tachyon的最新版本为0.8.2,目标spark版本是1.6,可以到http://tachyon-project.or...
  • xuanyuansen
  • xuanyuansen
  • 2015年12月18日 15:47
  • 1904

BDTC 2017 | 中国大数据技术大会全日程和讲师曝光

2017年12月7-9日,中国大数据技术大会(Big Data Technology Conference 2017,BDTC 2017)将在北京新云南皇冠假日酒店隆重举行。 2008年,作为中...
  • csdnsevenn
  • csdnsevenn
  • 2017年11月29日 00:00
  • 522

tachyon与hdfs,以及spark整合

Tachyon 0.7.1伪分布式集群安装与测试:http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark 1...
  • stark_summer
  • stark_summer
  • 2015年09月14日 17:50
  • 26347

我的培训导师经验分享(血泪史之六…

这个笔记是在黑马培训的时候,金云龙老师和王昭铤老师给分享他们的成长经历和学习经历以及我们以后的选择,这个对于我们当时培训过程是非常非常受益的,当时去黑马就是为了找个工作,受过生活的煎熬终于抓住了一个机...
  • li951418089
  • li951418089
  • 2015年12月24日 16:21
  • 475

Tachyon架构分析和现存问题讨论

作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ ...
  • colorant
  • colorant
  • 2014年03月28日 11:32
  • 15576

Tachyon安装:本地安装

Ubuntu14.04 单机上独立运行Tachyon( running tachyon locally)
  • u012587561
  • u012587561
  • 2016年04月01日 22:58
  • 983

Tachyon在Spark中的作用(Tachyon: Reliable, Memory Speed Storage for Cluster Computing Frameworks 论文阅读翻译)

摘要:         Tachyon是一种分布式文件系统,可以借助集群计算框架使得数据以内存的速度进行共享。当今的缓存技术优化了read过程,但是,write过程因为需要容错机制,就需要通过网...
  • hust_sheng
  • hust_sheng
  • 2015年08月13日 16:42
  • 1710

Tachyon 0.7.1伪分布式集群安装与测试

Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachy...
  • stark_summer
  • stark_summer
  • 2015年09月09日 20:05
  • 25698
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:【BDTC讲师】Tachyon作者:大数据存储以及处理框架经验分享
举报原因:
原因补充:

(最多只允许输入30个字)