2015年10月_CxCo

转载推荐系统初识

1. 前言随着互联网技术和社会化网络的发展，每天有大量包括博客，图片，视频，微博等等的信息发布到网上。传统的搜索技术已经不能满足用户对信息发现的需求，原因有多种，可能是用户很难用合适的关键词来描述自己的需求，也可能用户需要更加符合他们兴趣和喜好的结果，又或是用户无法对自己未知而又可能感兴趣的信息做出描述。推荐引擎的出现，可以帮用户获取更丰富，更符合个人口味和更加有意义的信息。个

2015-10-23 11:40:40 768

翻译 Storm与JDBC整合

Storm JDBC包含了核心的bolts以及trident states可以使storm topology即能对一个数据库表插入storm tuples又能对数据库进行查询操作，并且丰富了tuple的作用。注意：在下面的例子中，我们使用了 com.google.common.collect.Lists和com.google.common.collect.Maps.对数据库进行插入操作

2015-10-14 18:36:23 8763

翻译理解Storm Topology的并发机制

运行时topology的组成：worker processes、executors(执行者线程)以及tasksStorm区分了以下三个主要的实体并用来在Storm集群上运行起一个topology:1.Worker processes2.Executors(线程)3.Tasks下面是这3者关系的一个简单示例:一个worker process负责执行topology的部

2015-10-14 14:26:25 2400

翻译 storm配置概览

Storm拥有多种配置来调整nimbus,supervisors的行为以及运行topologies。其中有些属于系统配置，我们无法在topology层面上进行更改(就是说有些系统配置我们是不能通过代码来改的)，其他的一些配置我们则可以通过在每个topology中调用相应的接口来设置。每个配置通过defaults.yaml设置默认值。我们可以通过在Nimbus以及supervisors中的cla

2015-10-14 11:19:32 483

Trident是一个用来在storm上进行实时计算的高层抽象。它将使我们能够以延迟极低的分布式查询无缝的融合超大流量以及状态流处理。如果你对Pig或者Cascading这种的高层批处理工具很熟悉，那么Trident的概念就很容易理解了----Tridet拥有joins（连接）、aggregations（汇聚）、grouping（分组）、functions（函数）以及filters（过滤器）。除了这

2015-10-13 17:11:36 698 1

翻译 Guaranteeing Message Processing(storm 消息处理保证机制)

Storm保证spout发出来的每条消息都会被完全的处理。这篇文章描述了Storm是如何实现这一保证机制的以及作为一个storm的使用者我们如何从storm的这种可靠性中获益。消息被"完整处理"的含义由spout发出来的一个tuple（元组）会触发下游更多的tuple的生成。让我们看你这个流单词计数的topology:TopologyBuilder builder = new

2015-10-12 17:34:27 1458

翻译 Storm Distributed RPC（DRPC）分布式远程过程调用

DRPC的主要作用就是利用Storm来完成那些计算密集型函数（CPU密集型函数）的实时并行计算。对于每一次函数调用，Storm topology将函数的参数当成是输入流，并且将函数运行的结果作为输出流。总体概览DRPC通过一个"DRPC server"来进行协调均衡。（Storm整合了DRPC server的一个实现）。DRPC server接受一个RPC请求，发送该请求给Storm to

2015-10-10 19:00:43 5057

翻译 storm初识

Storm集群的组成strom集群与hadoop集群表面上看还是很相似的。例如：在hadoop上你运行"MapReduce jobs",而在storm上运行的是"topologies"。"Jobs"和"topologies"是不一样的--一个主要的差别就是MapReduce job最终会运行完成并结束，而topology将会不停的运转来处理源源不断的流数据。（除非我们手动的kill进程，否则t

2015-10-10 14:13:52 528

CxCo的专栏