Spark
wishchin
CV算法工程师:从事室内场景感知方面工作,完成算法实验和软件开发。
展开
-
使用Storm实现实时大数据分析!
随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。转载 2014-12-28 18:24:39 · 876 阅读 · 0 评论 -
ML的BD框架-Hadoop.Mahout.Strom.Spark/GraphLab
AI发展的方法论进展缓慢,大数据已然崛起,随着存储和计算能力价格的降低,分布式ML框架蓬勃发展,各种繁荣不断出现......GraphLab将数据抽象成Graph结构,将算法的执行过程抽象成Gather、Apply、Scatter三个步骤。其并行的核心思想是对顶点的切分,以下面的例子作为一个说明。原创 2014-12-28 18:23:51 · 1424 阅读 · 1 评论 -
Spark的协同过滤.Vs.Hadoop MR
互联网的发展导致了信息爆炸。面对海量的信息,如何对信息进行刷选和过滤,将用户最关注最感兴趣的信息展现在用户面前,已经成为了一个亟待解决的问题。推荐系统可以通过用户与信息之间的联系,一方面帮助用户获取有用的信息,另一方面又能让信息展现在对其感兴趣的用户面前,实现了信息提供商与用户的双赢。基于物品的协同过滤推荐算法案例在TDW Spark与MapReudce上的实现对比,相比于MapReduce,TDW Spark执行时间减少了66%,计算成本降低了40%。转载 2014-12-28 18:05:25 · 854 阅读 · 0 评论 -
IAAS: IT公司去IOE-Alibaba系统构架解读
摘要:从IOE时代,到Hadoop与飞天并行,再到飞天单集群5000节点的实现,阿里一直摸索在技术衍变的前沿。这里,我们将从架构、性能、运维等多个方面深入了解阿里基础设施。转载 2014-12-28 18:02:59 · 1072 阅读 · 0 评论 -
JVM上的下一个Java——Scala
然而,了解一下就可以,不要跟在被人的屁股后面,被人怀有其他目的的人,给搞的晕头撞向。让那些熟悉Scala的人自己去嗨吧!Scala是一种针对 JVM 将函数和面向对象技术组合在一起的编程语言。Scala编程语言近来抓住了很多开发者的眼球。它看起来像是一种纯粹的面向对象编程语言,而又无缝地结合了命令式和函数式的编程风格。Scala的名称表明,它还是一种高度可伸缩的语言。转载 2014-12-28 18:19:01 · 1433 阅读 · 0 评论 -
基于物品的协同过滤ItemCF的mapreduce实现
基于物品的协同过滤ItemCF数据集字段:1. User_id: 用户ID2. Item_id: 物品ID3. preference:用户对该物品的评分算法的思想:1. 建立物品的同现矩阵A,即统计两两物品同时出现的次数转载 2014-12-28 18:10:46 · 1590 阅读 · 1 评论