全面落地,2014大数据应用案例TOP100

在当前的互联网领域,大数据的应用已十分广泛,尤其以企业为主,企业成为大数据应用的主体。大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的。随着企业开始利用大数据,我们每天都会看到大数据新的奇妙的应用,帮助人们真正从中获益。大数据的应用已广泛深入我们生活的方方面面,涵盖医疗、交通、金融、教育、体育...

2015-02-09 09:54:22

阅读数 4397

评论数 0

[译]精准医疗大家谈

医疗大数据专栏成立了! 酝酿已久,今天,“医疗大数据专栏”正式成立。随着基因芯片及DNA测序技术的发展,生物医疗大数据迅猛发展,既是大数据技术发展的原动力,也是大数据技术的受益者。大数据文摘2013年7月成立,我们专注数据,每日坚持分享优质内容,从未间断,我们努力为读者和志愿者打造一个分...

2015-02-09 09:50:39

阅读数 993

评论数 0

Quora译文:通俗解释“为什么数据库难以拓展”

要扩展数据库有四大挑战:搜索、并发性、一致性和速度。 假设你有一张清单,上面有10个人名。如果你想要查找某个人,只需要看一眼清单就行。 数据库 但如果清单上有100万个人名呢?这时,你就需要一些策略了。电话簿把人名按照字母顺序排列,这样你就可以略过不需要的部分了。这就是针...

2015-02-09 09:47:55

阅读数 652

评论数 0

Machine Learning Scientist Sr at Robert Half

Its a great question and merits some elaboration. So the short answer is hadoop and spark are not even apples to apples. Let me illustrate through my...

2015-02-06 10:26:40

阅读数 449

评论数 0

Spark生态系统解析及基于Redis的开源分布式服务Codis

摘要:在第九期“七牛开发者最佳实践日”上,陈超就Spark整个生态圈进行了讲解,而刘奇则分享豌豆荚在Redis上的摸索和实践。 1月24日,一场基于Spark和Redis组成的分布式系统实践分享由Spark资深布道者陈超和豌豆荚资深系统架构师刘奇联手打造。 陈超:Spark Ecosy...

2015-02-03 12:18:14

阅读数 1000

评论数 0

深入解析NoSQL数据库的分布式算法

摘要:尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革,但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践。在这篇文章里,我将针对NoSQL数据库的分布式特点进行一些系统化的描述。 系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源...

2015-02-02 12:13:48

阅读数 564

评论数 0

Michael G. Noll:整合Kafka到Spark Streaming——代码示例和挑战

摘要:本文,Verisign实验室大规模数据分析基础设施的技术主管Michael通过示例对Kafka整合到Spark Streaming进行了详细讲解,更分享了该领域的现状和一些注意点。  【编者按】作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是...

2015-02-02 12:11:29

阅读数 600

评论数 0

美团推荐算法实践:机器学习重排序模型成亮点

摘要:本文介绍了美团网推荐系统的构建和优化过程中的一些做法,包括数据层、触发层、融合过滤层和排序层五个层次,采用了HBase、Hive、storm、Spark和机器学习等技术。两个优化亮点是将候选集进行融合与引入重排序模型。 编者按:在用户意图明确时,我们通常用搜索引擎来解决互联网时代的...

2015-02-02 12:09:55

阅读数 1381

评论数 0

大数据计算新贵Spark在腾讯雅虎优酷成功应用解析

摘要:MapReduce在实时查询和迭代计算上仍有较大的不足,目前,Spark由于其可伸缩、基于内存计算等特点,且可以直接读写Hadoop上任何格式的数据,逐渐成为大数据处理的新宠,腾讯分享了Spark的原理和应用案例。 【编者按】MapReduce由于其设计上的约束只适合处理离线计算,...

2015-02-02 12:06:51

阅读数 860

评论数 0

挖财首席架构师王福强:架构设计中的6大关键点

摘要:架构设计的重要性不言而喻,挖财首席架构师王福强日前在一个技术沙龙中分享了挖财架构设计中的6大关键点:系统层级分离;消息传递;异步化处理;信息存储,宁多勿缺;系统安全;存储冗余。 编者按:要开发出用户满意的软件并不是件容易的事,软件架构师必须全面把握各种各样的需求、权衡需求之间有可能...

2015-02-02 12:01:23

阅读数 1982

评论数 0

CNN提速23.5倍!Facebook开源DL模块带给我们什么?

摘要:日前,Facebook人工智能研究院(FAIR)宣布开源了一组深度学习软件库,是针对Torch机器学习框架的插件,基于NVIDIA的GPU,大大提升了神经网络的性能,可以用于计算机视觉和自然语言处理(NLP)等场景。 Geoffrey Hinton的努力,使得深度学习(...

2015-02-02 11:58:36

阅读数 557

评论数 0

自然语言处理哪家强?

摘要:语音交互事关未来,这点从大公司收购、投资、合作不断,就可见一斑。如苹果收购Siri、Novauris、Google收购多项语音识别技术专利、Facebook收购Wit.ai等、Amazon收购Yap……目前,基本上所有的巨头都有涉足。 语音交互事关未来,国内外已经不少公司在抢蛋糕了...

2015-02-02 11:55:41

阅读数 969

评论数 0

Spark奠基者博士论文中文版出来了

由 CSDN CODE翻译社区 组织的长篇论文翻译An Architecture for Fast and General Data Processing on Large Clusters 经过长达3个月的历程终于全部翻译完成。 该论文是Spark主要开发者Matei Zahari...

2015-02-02 11:53:24

阅读数 694

评论数 0

看完你就牛了!2014年大数据行业深度梳理总结

大数据时代不是突然出现的,实际上过去的几十年间,数学分析就已经涉猎金融行业了,诺贝尔经济学奖获得者哈里.马克维茨、威廉.夏普、罗伯特.恩格尔就是利用计量经济学知识和金融市场数据来建立数学模型,预测金融市场产品收益同风险波动的关系。大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果。确切的说...

2014-12-27 17:32:04

阅读数 934

评论数 0

Ansible vs Chef

Postedby ScriptRock  Jul 17, 2014 8:00:00 AM This is a tale of a newcomer vsa relative oldie in the Configuration Management (CM) arena. Both are to...

2014-12-19 10:32:22

阅读数 995

评论数 0

在云上搭建大规模实时数据流处理系统

如今数据规模变得越来越大,传统的软硬件工具已很难满足数据处理的需求。本文将结合汽车状态实时监控系统,讲述如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统,及其中遇到的挑战。 在大数据时代,数据规模变得越来越大。由于数据的增长速度和非结构化的特性,常用的软硬件工具...

2014-12-17 08:52:35

阅读数 848

评论数 0

卡耐基梅隆大学教授邢波:Petuum,大数据分布式机器学习平台

要:BDTC 2014中国大数据技术大会首日全体大会上,卡耐基梅隆大学教授、ICML 2014程序主席邢波带来了名为“A New Platform for Cloud-based Distributed Machine Learning on Big Data”的主题演讲。 【CSDN现...

2014-12-16 10:31:50

阅读数 682

评论数 0

程学旗发布大数据白皮书与发展趋势报告

程学旗摘要:中科院计算所研究员,CCF大数据专家委员会秘书长程学旗发布大数据白皮书与发展趋势报告。介绍了大数据的背景与动态、典型应用、技术进展等内容。程学旗对2015年大数据发展预测用了8个字:融合、跨界、基础、突破。 【CSDN现场报道】2014年12月12-14日,由中国计算机学会(...

2014-12-16 10:00:42

阅读数 901

评论数 0

Facebook数据仓库揭秘:RCFile高效存储结构

摘要:本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在MapReduce环境下的大规模数据分析中扮演重要角色。 Facebook曾在2010 ICDE(IEEE International Confere 本文介绍了Facebook公司...

2014-12-11 09:04:10

阅读数 430

评论数 0

Facebook的数据仓库是如何扩展到300PB的

摘要:Facebook在数据仓库上遇到的存储可扩展性的挑战是独一无二的。我们基于Hive的数据仓库中存储了超过300PB的数据,并且以每日新增600TB的速度增长。去年这个数据仓库所存储的数据量增长了3倍。 Facebook在数据仓库上遇到的存储可扩展性的挑战是独一无二的。我们基于Hiv...

2014-12-11 09:02:43

阅读数 701

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭