关闭

使用Storm实现实时大数据分析!

随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。...
阅读(611) 评论(0)

ML的BD框架-Hadoop.Mahout.Strom.Spark/GraphLab

AI发展的方法论进展缓慢,大数据已然崛起,随着存储和计算能力价格的降低,分布式ML框架蓬勃发展,各种繁荣不断出现...... GraphLab将数据抽象成Graph结构,将算法的执行过程抽象成Gather、Apply、Scatter三个步骤。其并行的核心思想是对顶点的切分,以下面的例子作为一个说明。...
阅读(967) 评论(1)

JVM上的下一个Java——Scala

然而,了解一下就可以,不要跟在被人的屁股后面,被人怀有其他目的的人,给搞的晕头撞向。让那些熟悉Scala的人自己去嗨吧! Scala是一种针对 JVM 将函数和面向对象技术组合在一起的编程语言。Scala编程语言近来抓住了很多开发者的眼球。它看起来像是一种纯粹的面向对象编程语言,而又无缝地结合了命令式和函数式的编程风格。Scala的名称表明,它还是一种高度可伸缩的语言。...
阅读(666) 评论(0)

基于物品的协同过滤ItemCF的mapreduce实现

基于物品的协同过滤ItemCF 数据集字段: 1.  User_id: 用户ID 2.  Item_id: 物品ID 3.  preference:用户对该物品的评分 算法的思想: 1.  建立物品的同现矩阵A,即统计两两物品同时出现的次数...
阅读(560) 评论(0)

Spark的协同过滤.Vs.Hadoop MR

互联网的发展导致了信息爆炸。面对海量的信息,如何对信息进行刷选和过滤,将用户最关注最感兴趣的信息展现在用户面前,已经成为了一个亟待解决的问题。推荐系统可以通过用户与信息之间的联系,一方面帮助用户获取有用的信息,另一方面又能让信息展现在对其感兴趣的用户面前,实现了信息提供商与用户的双赢。 基于物品的协同过滤推荐算法案例在TDW Spark与MapReudce上的实现对比,相比于MapReduce,TDW Spark执行时间减少了66%,计算成本降低了40%。...
阅读(555) 评论(0)

IAAS: IT公司去IOE-Alibaba系统构架解读

摘要:从IOE时代,到Hadoop与飞天并行,再到飞天单集群5000节点的实现,阿里一直摸索在技术衍变的前沿。这里,我们将从架构、性能、运维等多个方面深入了解阿里基础设施。...
阅读(511) 评论(0)
    个人资料
    • 访问:833708次
    • 积分:11609
    • 等级:
    • 排名:第1421名
    • 原创:281篇
    • 转载:282篇
    • 译文:28篇
    • 评论:182条