分布式
jmppok
这个作者很懒,什么都没留下…
展开
-
Akka 2.1尝试的一个小例子
关于什么是Akka本文就不再细说了,可见以下文章:分布式应用框架Akka快速入门Storm Akka Finagle对比及使用场景分析Akka 对比 Storm 本文采用一个“Ping-Pong”(打乒乓球)的Demo进行尝试:1.首先要定义两个Actor, 相互打。2.然后要定义流程:初始化,一方发球,然后相互打回合。3.还需要定义每个消息的结构。原创 2015-04-08 11:16:48 · 1364 阅读 · 0 评论 -
关于虚拟化一些思考——不应该盲目使用
说起云计算,就必然会谈到虚拟化,好像没有虚拟化就不算是云计算。但虚拟化并不是万能的,我们必须根据实际需求,谨慎使用。原创 2013-12-12 10:49:23 · 2003 阅读 · 0 评论 -
Akka 对比 Storm
转载请注明出处:原文地址:http://www.warski.org/blog/2013/06/akka-vs-storm/Akka 对比 Storm最近在工作中用到Twitter的Storm框架,于是将他与另外一个高性能,数据并行处理框架Akka进行了对比.1.什么是Akka和Storm首先对两个系统进行一个简单的介绍:Storm是一个分布式实时刘翻译 2013-12-11 18:01:30 · 5823 阅读 · 0 评论 -
Hadoop + storm = summingbird
Twitter 推出一个开源系统,旨在减低批处理和流式处理之间的交换,做法是把二者组合在一起成为一个混合系统。Twitter 用Hadoop做批处理,用Storm做流式处理,混合系统称为Summingbird。此类混合系统实际上越来越常见,很多公司认识到他们没办法单靠Hadoop在实时世界生存。我们以前报道过不少公司——其中有Gravity,LinkedIn和Netflix——他们转载 2013-11-12 15:34:07 · 1790 阅读 · 0 评论 -
分布式应用框架Akka快速入门
Akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。原创 2013-12-11 16:47:54 · 77118 阅读 · 5 评论 -
Yahoo! s4和Twitter storm的粗略比较
转自:http://www.blogjava.net/killme2008/archive/2011/11/10/363238.html-----------------------------------------------------Yahoo! s4和Twitter storm的粗略比较Items\ProjectsYahoo! s4Twitte转载 2013-11-20 13:37:12 · 1798 阅读 · 0 评论 -
【Storm总结-1】Storm 简介 -- 转一个我认为总结的比较好的介绍 .
转自: http://www.cnblogs.com/fxjwind/archive/2013/05/03/3057037.html-----------------安装和配置Storm的安装比较简单, 下载storm的release版本, 解压, 并且把bin/目录加到环境变量PATH里面去, 就ok了. 参考配置storm开发环境 当然为了运行Storm, 需要装一些其他的转载 2013-11-20 13:49:52 · 1742 阅读 · 0 评论 -
[1]Strom Bug Fix: DRPC topology setNumWorkers()
1.问题描述在使用Storm时遇到问题: 在将一个DRPC的Topology提交到Strom的cluster中时,在Config中如果设置worker num 大于1: Config conf = new Config(); conf.setDebug(true); conf.setNumWorkers(3);topology提交后不能运行,也无原创 2013-12-02 10:44:44 · 2053 阅读 · 0 评论 -
strom 如何保证可靠性
转自: http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/---------------------------------本文翻译自: https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processin转载 2013-11-20 13:52:47 · 1676 阅读 · 0 评论 -
Finagle:一个支持多协议的RPC系统
Finagle是一个协议不可知的,异步的,用于 JVM 的 RPC 系统,它使得在 Java、Scala 或任何基于JVM 的语言重构建鲁棒的客户端和服务器非常容易。在 Twitter.com上面即使是渲染最简单的网页也需要十多个说着不同协议的网络服务的合作。比如,为了渲染首页,应用程序需要向社交网络图(SocialGraph)服务、Memcached、数据库、以及许多其它网络服务发出转载 2013-12-11 19:00:08 · 2972 阅读 · 0 评论 -
我是如何向老婆解释MapReduce的?
我是如何向老婆解释MapReduce的?2011/08/25 | 分类: 程序员 | 0 条评论 | 来源: 伯乐在线 | 标签: Big Data, MapReduce分享到:12昨天,我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利,听众们都能够理解MapReduce的概念(根据他们的反馈)。我成功转载 2013-12-11 16:25:29 · 2327 阅读 · 0 评论 -
快速理解Kafka分布式消息队列框架
转载自:http://blog.csdn.net/colorant/article/details/12081909==是什么 == 简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue) 目标Scope(解决什么问题) kafka开发的主要初衷目标是构建一个用来处理海量日志,用户行为和网站运营统计等的数据处转载 2013-12-11 14:14:49 · 1467 阅读 · 1 评论 -
最火爆的开源流式系统Storm vs 新星Samza
转载自:http://blog.csdn.net/hljlzc2007/article/details/16926715分布计算系统框架,按照数据集的特点来说,主要分为data-flow和streaming两种。data-flow主要是以数据块为数据源来处理数据,代表有:MR、Spark等,我称作它们为大数据,而streaming主要是处理单位内得到的数据,这种方式,更注重于实时性,主转载 2013-12-11 13:52:29 · 2016 阅读 · 0 评论 -
Storm0.8.2新特性:topology隔离(Isolation Scheduler)
原创文章,如需转载请注明出处:Storm0.8.2中退出了新的特性:topology隔离。Storm官方称之为“Isolation Scheduler”。官方说明说下:也就是说,在Storm0.8.2中,可以为Topology配置单独隔离的N个节点来运行这个topology,这N个节点上只运行指定的某个Topology,不会与其它Topology共享。而且更进一步,原创 2013-12-05 15:37:17 · 3322 阅读 · 2 评论 -
Storm弹性计算:实时调整Topology并发数
原创文章,如需转载,请注明出处:Storm计算以topology为单位,topology提交到Storm集群中运行后,通过storm rebalance 命令可对topology进行动态调整。比如增加Topology的worker数,修改Bolt,Spout的并行执行数量 parallelism等,从而实现topology的动态调整,达到弹性计算的目的。(当然调整时要配合监控模块)原创 2013-12-05 16:34:04 · 3723 阅读 · 0 评论 -
白话REST-识别真假REST
转自:http://blog.csdn.net/ugg/article/details/9026649大家对REST的认识? 谈到REST大家的第一印象就是通过http协议的GET,POST,DELETE,PUT方法实现对url资源的CRUD(创建、读取、更新和删除)操作。比如http://www.aizher.com/c2/(读取)仍然保持为 [G转载 2014-08-12 14:23:35 · 1788 阅读 · 0 评论 -
POCO日志库使用示例
Poco是一个开源的C++库,各方面功能比较全面,包括日志\多线程\文件系统\定时器\网络\配之文件等,同时使用也十分简单.本文对其中的日志模块进行了简单的试用.原创 2014-05-12 10:52:34 · 7980 阅读 · 1 评论 -
十分简单的redis使用说明及性能测试
redis相比很多人都知道,是一个内存式的key-value数据库,存取速度极快,使用非常简单,支持多种语言。本文对其使用进行一个简要说明,并进行简单测试。原创 2014-01-10 16:13:10 · 4941 阅读 · 0 评论 -
C/C++网络编程总结与ZeroMQ
现在几乎所有C/C++的后台程序都需要进行网络通讯,其实现方法无非有两种:使用系统底层socket或者使用已有的封装好的网络库。本文对两种方式进行总结,并介绍一个轻量级的网络通讯库ZeroMQ。原创 2014-01-15 16:35:35 · 8880 阅读 · 0 评论 -
storm性能测试报告
转载自:http://blog.linezing.com/2012/02/twitter-storm%E6%80%A7%E8%83%BD%E6%B5%8B%E8%AF%95%E6%8A%A5%E5%91%8ATwitter storm性能测试报告摘要: twitter storm是一个流处理系统,本文中描述了它的基本测试性能(包括吞吐量和处理延迟)以及测试结果的简要分析测试目的转载 2013-12-27 16:41:59 · 7084 阅读 · 1 评论 -
strom及DRPC性能测试与改进
针对不同大小的数据,对Storm中DRPC延迟进行测试。同时提出了一些改进方法。原创 2014-01-10 15:26:00 · 3863 阅读 · 0 评论 -
storm配置:设置worker进程内存大小
Storm中真正干活的是各个worker,而worker由supervisor负责启动。在topology启动过程中我们会看到如下的启动日志:这就是启动一个worker进程,也就是一个JVM进程。默认情况下,Storm启动worker进程时,JVM的最大内存是768M。但我在使用过程中,由于会在Bolt中加载大量数据,768M内存无法满足需求,会导致内存溢出程序原创 2013-12-20 13:46:22 · 14740 阅读 · 0 评论 -
Storm 多语言支持之ShellBolt原理及改进
Storm是一个实时分布式流处理框架,现在正被越来越多的人使用。众所周知,Storm是一个Java平台,这就给我们的使用带来了一个问题:我们在实际工作中很少从0开始,往往是在一些已有的基础执行进行开发,而如果我们已有的基础程序不是Java平台而是C/C++,python等,如何将其移植到Storm中运行呢?为了解决这个问题,Storm本身提出了ShellBolt,用于支持由不同语言便编写的程序在Storm平台中运行。原创 2014-01-02 11:58:30 · 5288 阅读 · 2 评论 -
Storm中数据的输入输出
概述Storm是一个实时流处理系统,其中运行的是Topology。初学Storm的小伙伴可能会有这样的问题:我写了Spout和Bolt,创建了Topology,提交到了Cluster中,然后呢?怎么访问并使用这个Topology呢?原创 2013-12-12 16:48:40 · 5537 阅读 · 0 评论 -
Storm Akka Finagle对比及使用场景分析
本文翻译自:http://blog.samibadawi.com/2013/04/akka-vs-finagle-vs-storm.htmlBy jmppok at 2013.12.12Storm Akka Finagle对比及使用场景分析1 概述Storm、Akka、Finagle是三个开源的分布式并行处理框架,都基于JVM运行。他们在解决下面这些问题上十翻译 2013-12-12 16:16:33 · 9242 阅读 · 7 评论 -
翻译:Storm Scalable ——Storm弹性计算
原文地址:http://storm-project.net/about/scalable.html,内容如下:Storm topologies are inherently parallel and run across a cluster of machines. Different parts of the topology can be scaled individually b翻译 2013-12-05 15:09:12 · 1889 阅读 · 0 评论 -
Storm rebalance原理及可靠性保证
1.rebalance原理Storm可以在Topology运行过程中调整其并发度。其原理如下:4. rebalancing(1) startup:将状态转换成do-rebalance(2) kill: 实际上执行的是 kill-transition 方法,将 topology 的状态先改为 killed, 然后经过 kill-time 的时间,将topology remove原创 2013-12-10 18:28:50 · 5521 阅读 · 1 评论 -
Kafka学习笔记
转载自:http://blog.csdn.net/baiyangfu_love/article/details/8096084关于kafka的架构图在之前的一篇文章中有:http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816kafka的一些设计理念:1、关注大吞吐量,而不是别的特性2、针对实时转载 2013-12-11 10:22:00 · 1112 阅读 · 0 评论 -
lume+kafka+storm+mysql 数据流
今天终于将 flume + kafka + storm + mysql 这条数据流走通了,虽然只是一个简单的测试例子,但是依据这条数据流可以做的事情很多。先简单看一下这几个工具的架构吧,架构图会更好说明:flume的架构图:kafka的架构图:storm的架构图:我们使用的 flume + kafka + storm +mysq转载 2013-12-11 10:15:25 · 3280 阅读 · 0 评论 -
Storm下运行C++(二)
本文为简单翻译,原文地址:http://demeter.inf.ed.ac.uk/cross/stormcpp.html欢迎转载,转载时请注明出处:可参考:storm下运行C++程序(一)http://blog.csdn.net/jmppok/article/details/15501947作者实现了一个Storm的C++ Wrapper,开发人员可以使用该Wr翻译 2013-11-19 19:05:58 · 4973 阅读 · 4 评论 -
Storm中Topology的状态
Twitter Storm中Topology的状态状态转换如下,Topology 的持久化状态包括: active, inactive, killed, rebalancing 四个状态。代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。Java代码 (defn state-transitions [nimbus storm-转载 2013-12-09 21:38:42 · 3623 阅读 · 0 评论 -
storm rebalance 命令调整topology并行数及问题分析
原创文章,欢迎转载.转载请注明出处: 通过前面的介绍,我们知道Storm可以实现弹性计算,根据需要实时调整Topology的并行度.1)翻译:Storm Scalable ——Storm弹性计算2)Storm弹性计算:实时调整Topology并发数关于topology执行时并行度,topology状态,topology执行原理等,可以参考下面这些文章:1)Understanding the Parallelism of a Storm Topology2) Storm 中Topol原创 2013-12-10 14:48:34 · 11298 阅读 · 2 评论 -
Strom Topology执行分析:worker数,Bolt实例数,executor数,task数
原创文章,转载请注明出处:在创建Storm的Topology时,我们通常使用如下代码:builder.setBolt("cpp", new CppBolt(), 3).setNumTasks(5).noneGrouping(pre_name);Config conf = new Config();conf.setNumWorkers(3);参数1:bolt名称原创 2013-12-10 15:23:31 · 9167 阅读 · 5 评论 -
storm下运行C++程序(一)
转载,原文地址:http://blog.csdn.net/yan_mount/article/details/11527799学习storm有段时间了,也搭建了一个简单的环境,很欣赏它的一些理念,考虑到很多程序是C++实现的,如果要使用该平台的话,需要为这些程序实现一个接口,方便统一在storm中运行,折腾了几天,初步成功的实现了一个C++的bolt,特分享如下:1,需要先定义一个转载 2013-11-12 14:26:17 · 4430 阅读 · 0 评论 -
Strom 可定制任务调度策略(Pluggable Scheduler)
Twitter Storm的新利器Pluggable Scheduler发表于 2012 年 05 月 21 日 由xumingming作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/854/twitter-storm-pluggable-sc转载 2013-11-14 14:36:46 · 2131 阅读 · 0 评论 -
Storm DRPC ERROR: java.lang.RuntimeException: No DRPC servers configured for topology
学习Strom DRPC时,参照 https://github.com/nathanmarz/storm/wiki/Distributed-RPC进行操作,Local 没问题。但向Strom Cluster上部署后,执行测试程序无响应。查看Storm UI,发现有异常:java.lang.RuntimeException: No DRPC servers configure原创 2013-11-15 16:54:35 · 3072 阅读 · 0 评论 -
Storm 实时性分析
1.相比Hadoop,Storm是为实时处理而设计的;2.Storm的Topology启动后,一直处理就绪状态,等待数据输入,一旦有数据会立即处理;这一点不同于Hadoop,Hadoop每处理一个Job都需要重新提交,而且对于实时到来的数据也无法立即处理。“Storm中流动的是数据,Hadoop中流动的是代码”,这个说法很精辟。3.Storm在处理过程中基于Stream,不写文件和数据库,而且使用ZeroMQ传递消息(传说中最快的MQ),所以处理速度很快,自然也提高了实时性;4.翻译上面的英文:原创 2013-11-20 15:57:21 · 3398 阅读 · 0 评论 -
[2]Storm Bug Fix:supervisor {taskid} still hasn't started
原创文章,欢迎转载。转载请注明出处:1.问题描述在Storm中提交Topology后,一直处于分派状态,查看Supervisor日至,显示2013-12-02 14:49:52 supervisor [INFO] 46b25fa5-b333-4985-9c1d-3f112d5c615a still hasn't started2013-12-02 14:49:52 super原创 2013-12-02 15:06:46 · 7520 阅读 · 2 评论 -
在Strom中使用C++开发Bolt总结
1.Storm简介Storm是Twitter开源的一套并行处理系统,网站主页:https://github.com/nathanmarz/storm/wiki其思想与Hadoop类似,但也与Hadoop有本质区别:Hadoop主要偏重批处理,Storm主要面向实时处理, 与Storm类似的系统还有Puma 、S4等。2.为什么使用C++开发Storm BoltSto原创 2013-11-19 18:10:59 · 8328 阅读 · 1 评论 -
Understanding the Parallelism of a Storm Topology
Understanding the Parallelism of a Storm TopologyOct 16th, 2012 Table of ContentsWhat is Storm?What makes a running topology: worker processes, executors and tasksConfiguring the parallelism o转载 2013-12-10 15:05:22 · 1886 阅读 · 0 评论