- 博客(23)
- 资源 (21)
- 收藏
- 关注
原创 Storm DRPC 使用及访问C++ Bolt问题的解决方法
原创文章,欢迎转载,转载请注明出处:参考1:storm下运行C++程序(一)参考2:Storm下运行C++(二)参考3:在Strom中使用C++开发Bolt总结参考4:Storm DRPC 使用方法:1)根据[参考2]介绍,实现C++的Bolt; 其中storm.h 和 storm.cpp可从其中下载。JsonCPP可从官方下载编
2013-11-20 10:57:44 4829 2
原创 Java System.LoadLibrary() 能否多次加载同一个动态库?
最近在项目中用到了JNI,Java调用c++程序。写了个JNI调用类 CPPInvokerpublic class CPPInvoker{ public CPPInvoker(String dllFullPath) { System.Load(dllFullPath); } public nati
2013-11-26 22:16:41 10222 5
原创 监听获取程序退出事件(Linux、Windows、Java、C++)
为什么要监听程序退出事件就不用多说了,有各种各样的需求吧。主要是用于后台程序,比如要在程序退出的时候释放资源,关闭连接等等。下面针对Java、C++在Windows、Linux下的处理分别进行介绍.1.Java监听程序退出事件Java本身是跨平台的,不必关系Windows还是Linux。具体做法如下:通过Runtime.getRuntime().addShutdownHoo
2013-11-20 17:50:41 15659 1
原创 Storm 实时性分析
1.相比Hadoop,Storm是为实时处理而设计的;2.Storm的Topology启动后,一直处理就绪状态,等待数据输入,一旦有数据会立即处理;这一点不同于Hadoop,Hadoop每处理一个Job都需要重新提交,而且对于实时到来的数据也无法立即处理。“Storm中流动的是数据,Hadoop中流动的是代码”,这个说法很精辟。3.Storm在处理过程中基于Stream,不写文件和数据库,而且使用ZeroMQ传递消息(传说中最快的MQ),所以处理速度很快,自然也提高了实时性;4.翻译上面的英文:
2013-11-20 15:57:21 3398
转载 Storm Trident简介
转载自:[翻译][Trident] Storm Trident 教程英文原址:https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时,也提供了低延时分布式查询和有状态流式
2013-11-20 14:11:17 1756
转载 strom 如何保证可靠性
转自: http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/---------------------------------本文翻译自: https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processin
2013-11-20 13:52:47 1676
转载 【Storm总结-1】Storm 简介 -- 转一个我认为总结的比较好的介绍 .
转自: http://www.cnblogs.com/fxjwind/archive/2013/05/03/3057037.html-----------------安装和配置Storm的安装比较简单, 下载storm的release版本, 解压, 并且把bin/目录加到环境变量PATH里面去, 就ok了. 参考配置storm开发环境 当然为了运行Storm, 需要装一些其他的
2013-11-20 13:49:52 1742
转载 Yahoo! s4和Twitter storm的粗略比较
转自:http://www.blogjava.net/killme2008/archive/2011/11/10/363238.html-----------------------------------------------------Yahoo! s4和Twitter storm的粗略比较Items\ProjectsYahoo! s4Twitte
2013-11-20 13:37:12 1798
原创 Storm DRPC 使用
欢迎转载,请注明出处:1. DRPC介绍Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC,而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据,在最后一个Bolt中将数据发送到指定位置也是可以的。这是后话,后面再进行介绍。而DPRC则是St
2013-11-20 10:18:31 18856
翻译 Storm下运行C++(二)
本文为简单翻译,原文地址:http://demeter.inf.ed.ac.uk/cross/stormcpp.html欢迎转载,转载时请注明出处:可参考:storm下运行C++程序(一)http://blog.csdn.net/jmppok/article/details/15501947作者实现了一个Storm的C++ Wrapper,开发人员可以使用该Wr
2013-11-19 19:05:58 4973 4
原创 在Strom中使用C++开发Bolt总结
1.Storm简介Storm是Twitter开源的一套并行处理系统,网站主页:https://github.com/nathanmarz/storm/wiki其思想与Hadoop类似,但也与Hadoop有本质区别:Hadoop主要偏重批处理,Storm主要面向实时处理, 与Storm类似的系统还有Puma 、S4等。2.为什么使用C++开发Storm BoltSto
2013-11-19 18:10:59 8328 1
原创 Storm DRPC ERROR: java.lang.RuntimeException: No DRPC servers configured for topology
学习Strom DRPC时,参照 https://github.com/nathanmarz/storm/wiki/Distributed-RPC进行操作,Local 没问题。但向Strom Cluster上部署后,执行测试程序无响应。查看Storm UI,发现有异常:java.lang.RuntimeException: No DRPC servers configure
2013-11-15 16:54:35 3072
转载 Strom 可定制任务调度策略(Pluggable Scheduler)
Twitter Storm的新利器Pluggable Scheduler发表于 2012 年 05 月 21 日 由xumingming作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/854/twitter-storm-pluggable-sc
2013-11-14 14:36:46 2131
转载 Storm原理与实现
Storm原理与实现 转自徐明明的blog:http://xumingming.sinaapp.com/作者:phylips@bmy 2013-021 Storm简介1.1 简介本文主要是从内部实现的角度来认识下Storm(0.7.1版本),因此需要用户对Storm的基本原理和使用具有一定的了解。如果缺乏这方面
2013-11-14 14:32:34 2089
转载 Clojure入门教程
Clojure入门教程: Clojure – Functional Programming for the JVM中文版发表于 2011 年 12 月 07 日 由xumingming作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/302/cl
2013-11-14 13:44:14 4103
转载 storm 简介及单机版安装指南
转载:http://www.open-open.com/lib/view/open1374979211233.html本文翻译自: https://github.com/nathanmarz/storm/wiki/TutorialStorm是一个分布式的、高容错的实时计算系统。Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Ma
2013-11-12 18:25:15 1299
转载 Hadoop + storm = summingbird
Twitter 推出一个开源系统,旨在减低批处理和流式处理之间的交换,做法是把二者组合在一起成为一个混合系统。Twitter 用Hadoop做批处理,用Storm做流式处理,混合系统称为Summingbird。此类混合系统实际上越来越常见,很多公司认识到他们没办法单靠Hadoop在实时世界生存。我们以前报道过不少公司——其中有Gravity,LinkedIn和Netflix——他们
2013-11-12 15:34:07 1790
原创 git “errno=Connection refused”
执行如下git命令时报错:git clone git://github.com/nathanmarz/storm-starter.git && cd storm-startererror:Cloning into 'storm-starter'...fatal: unable to connect to github.com:github.com[0: 192.30.252
2013-11-12 14:50:21 8369 1
转载 storm下运行C++程序(一)
转载,原文地址:http://blog.csdn.net/yan_mount/article/details/11527799学习storm有段时间了,也搭建了一个简单的环境,很欣赏它的一些理念,考虑到很多程序是C++实现的,如果要使用该平台的话,需要为这些程序实现一个接口,方便统一在storm中运行,折腾了几天,初步成功的实现了一个C++的bolt,特分享如下:1,需要先定义一个
2013-11-12 14:26:17 4430
转载 转自淘宝的storm简介
场景伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦,相反,如果这个宝贝要等到第二天或者更久才可以被搜出来,估计这个大哥就要骂娘了。再举一个推荐的例子,如果用户昨天在淘宝上买了一双袜子,今天想买一副泳
2013-11-12 14:09:10 1318
原创 win7下mingw使用asio,报错 '::UnregisterWaitEx' has not been declared
D:\share\workspace/plato/externs/boost_1_54_0/boost/asio/detail/impl/win_object_handle_service.ipp: In member function 'void boost::asio::detail::win_object_handle_service::move_construct(boost::asio:
2013-11-06 17:41:16 2484
原创 win7下mingw为例编译boost
Boost 版本1.5.41.编译 1)生成bjam.exe cd boost_1_54_0\tools\build\v2 bootstrap.bat mingw mingw为编译器参数,根据实际情况指定,如msvc等,具体可见文档 2)使用bjam编译 将bjam拷贝至boost根
2013-11-06 17:35:24 1302
转载 判断当前系统大小端liteEndian bigEndian
C++怎样判别大端小端使用宏的方法:const int endian = 1;#define is_bigendian() ( (*(char*) &endian) == 0 )#define is_littlendbian() ( (*(char*) &endian) == 1 ) 方法二:bool IsLittleEndian(){
2013-11-05 14:12:08 1202
软件工程文档模板大全 - 国标GB8567
2020-11-11
jsoncpp 0.6.0rc2 代码+ubuntu下gcc编译结果
2013-11-20
简单易用的图像处理库CXimage,能满足各种需求
2011-05-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人