如何像Google一样玩转大数据

像Google一样玩转大数据到底难不难?企业能从Google身上借鉴哪些经验?本文就将进行深入的讨论。

简单来说，Google处理大数据的方式可以总结为以下几点：

1、收集原始数据，捕捉每一个网站的内容，电子邮件或者Cookie，然后抽取出关键的信息

2、为这些信息创建复杂的关联索引以及与广告相关的索引

3、将索引和相应的内容存储在分布式的服务器上

4、当用户浏览网页进行搜索，或者查看电子邮件时，Google就会将用户的请求放到一个复杂的“翻译”过程中，然后几个索引条目就会相应地被定位

5、根据索引在服务器中进行数据检索，然后返回搜索结果或者相对应的广告

那么这两步的部署难度如何呢?非常简单，Hadoop解决方案在扩展性以及成本方面的表现都很好。那么是不是你就可以像Google那样从容应对大数据了呢?当然不是，因为你还要考虑关键的第2步与第4步。

那么第2步和第4步到底是怎样的?它们涉及到业务分析算法，这是相关的业务专家在数据、业务知识以及市场趋势基础上精心设计出来的算法，它是核心的竞争力。也就是说4V理论中的Value(价值)所在。

那么大数据项目为何会失败呢?那是因为目前许多大数据项目都只是提供了数据存储与数据查询的功能。它缺乏良好的业务分析解决方案来提升竞争力，这才是最关键的。然而要做到这一点，其中还有巨大的鸿沟需要跨越。事实上，目前的大数据项目基本上是IT专家的事，他们可以用C++或Java部署MapReduce功能，却不能实现终极目标，为业务提供有价值的算法。

为了避免失败，企业必须使用面向业务专家的高级分析工具，这些工具不要求用户有技术背景，而且能够快速、直观、方便地将业务逻辑转化为业务算法。

是使用NoSQL还是SQL呢?根本没关系!它们是提供给IT人员的。那么什么才是业务专家的理想工具?从TCO(总拥有成本)来看，我更愿意选择轻量级的R语言和esProc Desktop，而不是把宝压在重量级的Teradata Aster或者SAP Visual Intelligence上。特别是esProc，它是一款业务计算的桌面工具，它的语法非常容易理解和使用，不需要太强的技术背景。脚本会自动化对齐，用户可以对每一步的结果有一个很直观的很清晰的了解，并根据业务逻辑进行相应的计算。

参加相关培训并通过考试的学员，可以获得： 1．由人力资源和社会保障部中国高级公务员培训中心、全国信息化计算机应用技术水平教育培训管理中心颁发《大数据技术工程师技术水平教育培训》证书。该证书可在人社部中国国家人事人才培训网查询（http://www.chinanet.gov.cn），可作为能力评价、考核和任职的重要依据。 2.中国科学院计算技术研究所教育中心颁发的《大数据技术工程师》培训证书。

大数据技术已经成为互联网后的又一个里程碑意义的科技革命与生产力革命，也是产业结构战略调整的战略机遇。如何管理自身的业务大数据，从中获取智慧，对传统业务再造并实巨大价值的产品和服务？如何将大数据困境转换为大数据宝藏？如何从大数据概念炒作到实践落地？

由北京理工大学大数据搜索挖掘实验室、中国科学院计算技术研究所教育中心联合主办，大数据论坛联合承办，开设大数据技术进修班。聘请北京理工大学赵燕平教授、张华平博士、北京市外办信息中心姜伟主任、清华大学马宝君博士等知名专家全面讲授大数据架构、大数据搜索、大数据挖掘以及大数据应用四大板块，分享亲身经历的大数据应用，并为学员提供大数据搜索挖掘工具的实训。

授课时间 9月7、8日上午9:00-12:00，下午13:30-16:30 ( 16:30-17:00 开放式讨论答疑 )

进修费用 4980元（包含发票，讲义，教材，工作餐，与讲师互动自助晚餐会）； 老学员或同单位三人以上报名九折优惠； 全日制学生凭学生证优惠价格2980元，不含发票。差旅及食宿费用自理

授课方式 ：(a)《大数据搜索与挖掘》教材（科学出版社）； (b)中文多媒体讲义；

             (c) 针对学员具体需求的互动交流会。 (d)大数据搜索与挖掘工具实训；

(e)互动自助晚餐会；

大数据技术培训

主讲讲师：张华平：北京理工大学大数据搜索挖掘实验室主任，博士，副教授

             赵燕平：北京理工大学教授，教育部电子商务专家

             姜伟：北京市外事办信息中心主任

             马宝君：清华大学搜索评价与推荐系统专家

小班授课：为保证充分讨论，确保进修效果，采用小班授课，名额有限，先到先得。

培训内容：《科学的大数据观》《云计算与大数据架构》《大数据精准搜索关键技术》          

          《大数据挖掘关键技术》《大数据搜索与挖掘平台工具实训》 

          《大数据与电子商务应用》《大数据在电子政务中的应用》《微博大数据挖掘》 

          《大数据困惑及解决》《方案应对讨论》

报名地址：http://118.192.14.52/bigdatatrain/

赵老师   010-68918050    13681251543

转载于:https://my.oschina.net/u/1160813/blog/156103