Hadoop已经成为大数据分析平台的标配

【CSDN报道】5月29日,“2013中国·北京第一届(国际)开源大会”在北京新世纪日航酒店拉开帷幕,本次大会以大力发展并推动北京科技原创能力为宗旨,以“开源中国 原创北京”为主题,通过丰富前瞻性的思想盛宴,让北京在世界科技发展新趋势下占据主动地位。下文是Hadoop专场侧记:

Hadoop中国开源社区

下午Hadoop专场的第一位嘉宾是来自ChinaHadoop社区负责人谢磊,他做了Hadoop的中国社区报告。在报告中,谢磊介绍了中国Hadoop发行版本的使用情况,目前国内使用最多的就是原生Apache Hadoop,但是Cloudera CDH也非常受到大家的青睐,很多中小互联网公司都在使用这个版本,除此之外,EMC、Intel、华为、天云也都开发了自己的Hadoop版本。接下来他还介绍了Hadoop在中国的技术资源分布,而目前中国使用Hadoop最多的就是互联网公司、Hadoop平台供应商以及电信行业,像中移动和华为等等。

谢磊重点对比了国内和国外的Hadoop开源社区,虽然很多华人都参与了Hadoop社区的核心圈,但是他们主要都是在美国的一些大公司,而国内参与Hadoop核心开发的很少。他介绍了参加开源社区的优势,首先游戏规则很成熟,而且还能获得来自大公司的支持,另外就是在个人的投入和收获上完全可以达到平衡,很多核心开发者都获得了风投的青睐。当然也有很多负面因素,社区的进展很缓慢,分支也太多,从一定意义上讲阻碍了Hadoop的高速发展。而中国在开源社区的表现就相对边缘化,不过个人行为有活跃趋势。

在介绍Hadoop在中国互联网的应用实践时,谢磊认为中国的Hadoop的发展已经与世界同步,Hadoop的应用也是非常广泛和成熟,涵盖了搜索、广告效果和点击流分析、用户模型和个性化推荐、社区网络消息平台、URL短链服务以及地图信息系统等领域。主要特点就是数据量特别大,计算逻辑相对简单,性价比敏感,工程师的队伍也非常强大。谢磊最后还介绍了Hadoop在中国的企业级应用。

来自人人游戏的首席数据科学家陈继东给大家分享了Hadoop在移动互联网的应用实践,他主要介绍了移动互联网和大数据,大数据关键技术对比,以及移动广告大数据的案例分析。

移动互联网和大数据

陈继东表示,移动互联网已经成为大数据应用的主战场,第一,随着智能设备的普及,移动互联网成为移动大数据的核心载体;第二,高宽带引流大数据手机使用3G和Wifi接入互联网);第三这也是移动大数据的聚集地(Andriod和ios成为主流OS);第四,移动大数据的源头和关键节点。

陈继东认为现在移动大数据也呈现出更多的特点,包括数据的核心节点是人而不再是终端、网页或ID;数据量更大,维护更高,种类更多更复杂;更多个性化属性和上下文信息(如用户地理位置,设备属性);同时不再受限于浏览器Cookie,数据更稳定长久和准确;用户行为数据更碎片化,更实时性。

目前大数据关键技术越来越多,包括大规模并行数据库、NoSQL/NewSQL、并行处理引擎(Hadoop MapReduce)、流式计算(Storm,Spark)、并行数据挖掘和机器学习等等,陈继东重点比较了MapReduce和并行数据库,他认为MapReduce和并行数据库应用于不同的场景,它们互为补充;在比较NoSQL和SQL的关系时,他认为NoSQL适用于海量数据定制化存储和高吞吐量(如全属性选择应用)的领域,而SQL的扩展性和灵活性较差,主要用于高性能查询和复杂分析。


陈继东还对比了Spark和Hadoop MapReduce,分布式数据库系统Spark能够快速的进行流处理,类似MapReduce的并行计算引擎,不仅与Hadoop存储的API相兼容,而且比Hadoop MapReduce快100倍,即使对于磁盘数据也要快2-10倍。除此之外,Spark还拥有高性能的主内存抽象,通用的执行图,支持快速迭代类查询。在Spark也可以进行SQL查询,Shark=Spark + Hive。

陈继东最后介绍了移动广告的大数据分析、移动广告平台架构、移动广告CTR预估等方面的内容。在总结时,陈继东认为Hadoop已经成为大数据分析平台的标配,HDFS文件存储、MapReduce分布式计算和HBase分布式持久对象存取已经得到了大家的认可。

Hadoop在搜狗数据平台的应用

搜狗数据平台Hadoop和HBase的负责人洗茂源介绍了Hadoop在搜索业务中的应用,内容包括了体系结构、Hadoop与批处理任务、Hadoop与实时任务以及HBase相关的信息。

洗茂源介绍了搜狗在处理实时与批处理并存、多用户并存的解决方案,他们引入了FairScheduler,依照业务特征以及对资源的需求进行资源分配,紧急的任务优先执行。在涉及大内存的应用时,启用Task Tracker内存监控,在内存吃紧时结束多余任务,实行精准的任务调度方案;在资源利用不充分时,实现Map/Reduce共享槽位。洗茂源最后介绍了HBase相关的应用场景和问题的解决方案,以及Hadoop生态圈衍生产品相关的一些问题,包括PageRank、日志统计及数据挖掘等方面的内容。

开源已经成为云计算的灵魂,开源给云计算带来的是更加灵活和开放的构建方法,能够让用户加快对云计算的普及。本届北京开源大会的主要目的是充分利用“第十七届中国国际软件博览会”在中国软件和信息技术服务业品牌优势,借助博览会舞台,为中国开源界软件精英搭建一个在北京与世界沟通接轨的重要平台。来自开源社区的专家与上千名观众围绕开源@Openstack、开源@OS、开源@Hadoop、开源@Cloudstack等话题展开了深入探讨。(文/王鹏)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值