2013年11月_jmppok

12月 11月

原创 Storm DRPC 使用及访问C++ Bolt问题的解决方法

原创文章，欢迎转载，转载请注明出处：参考1：storm下运行C++程序(一)参考2：Storm下运行C++（二）参考3：在Strom中使用C++开发Bolt总结参考4：Storm DRPC 使用方法：1)根据［参考２］介绍，实现Ｃ＋＋的Bolt; 其中storm.h 和 storm.cpp可从其中下载。JsonCPP可从官方下载编

2013-11-20 10:57:44 4829 2

原创 Java System.LoadLibrary() 能否多次加载同一个动态库？

最近在项目中用到了JNI，Java调用c++程序。写了个JNI调用类 CPPInvokerpublic class CPPInvoker{ public CPPInvoker(String dllFullPath) { System.Load(dllFullPath); } public nati

2013-11-26 22:16:41 10221 5

原创监听获取程序退出事件（Linux、Windows、Java、C++）

为什么要监听程序退出事件就不用多说了，有各种各样的需求吧。主要是用于后台程序，比如要在程序退出的时候释放资源，关闭连接等等。下面针对Java、C++在Windows、Linux下的处理分别进行介绍.1.Java监听程序退出事件Java本身是跨平台的，不必关系Windows还是Linux。具体做法如下：通过Runtime.getRuntime().addShutdownHoo

2013-11-20 17:50:41 15656 1

原创 Storm 实时性分析

1.相比Hadoop，Storm是为实时处理而设计的；2.Storm的Topology启动后，一直处理就绪状态，等待数据输入，一旦有数据会立即处理；这一点不同于Hadoop，Hadoop每处理一个Job都需要重新提交，而且对于实时到来的数据也无法立即处理。“Storm中流动的是数据，Hadoop中流动的是代码”，这个说法很精辟。3.Storm在处理过程中基于Stream，不写文件和数据库，而且使用ZeroMQ传递消息（传说中最快的MQ），所以处理速度很快，自然也提高了实时性；4.翻译上面的英文：

2013-11-20 15:57:21 3398

转载 Storm Trident简介

转载自：[翻译][Trident] Storm Trident 教程英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式

2013-11-20 14:11:17 1756

转载 strom 如何保证可靠性

转自： http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/---------------------------------本文翻译自： https://github.com/nathanmarz/storm/wiki/Guaranteeing-message-processin

2013-11-20 13:52:47 1676

转载【Storm总结-1】Storm 简介 -- 转一个我认为总结的比较好的介绍 .

转自： http://www.cnblogs.com/fxjwind/archive/2013/05/03/3057037.html-----------------安装和配置Storm的安装比较简单, 下载storm的release版本, 解压, 并且把bin/目录加到环境变量PATH里面去, 就ok了. 参考配置storm开发环境当然为了运行Storm, 需要装一些其他的

2013-11-20 13:49:52 1742

转载 Yahoo! s4和Twitter storm的粗略比较

转自：http://www.blogjava.net/killme2008/archive/2011/11/10/363238.html-----------------------------------------------------Yahoo! s4和Twitter storm的粗略比较Items\ProjectsYahoo! s4Twitte

2013-11-20 13:37:12 1798

原创 Storm DRPC 使用

欢迎转载,请注明出处:1. DRPC介绍Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC，而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据，在最后一个Bolt中将数据发送到指定位置也是可以的。这是后话，后面再进行介绍。而DPRC则是St

2013-11-20 10:18:31 18853

翻译 Storm下运行C++（二）

本文为简单翻译，原文地址：http://demeter.inf.ed.ac.uk/cross/stormcpp.html欢迎转载，转载时请注明出处：可参考：storm下运行C++程序（一）http://blog.csdn.net/jmppok/article/details/15501947作者实现了一个Storm的C++ Wrapper，开发人员可以使用该Wr

2013-11-19 19:05:58 4973 4

原创在Strom中使用C++开发Bolt总结

1.Storm简介Storm是Twitter开源的一套并行处理系统，网站主页：https://github.com/nathanmarz/storm/wiki其思想与Hadoop类似，但也与Hadoop有本质区别：Hadoop主要偏重批处理,Storm主要面向实时处理，与Storm类似的系统还有Puma 、S4等。2.为什么使用C++开发Storm BoltSto

2013-11-19 18:10:59 8328 1

原创 Storm DRPC ERROR: java.lang.RuntimeException: No DRPC servers configured for topology

学习Strom DRPC时，参照 https://github.com/nathanmarz/storm/wiki/Distributed-RPC进行操作，Local 没问题。但向Strom Cluster上部署后，执行测试程序无响应。查看Storm UI，发现有异常：java.lang.RuntimeException: No DRPC servers configure

2013-11-15 16:54:35 3072

转载 Strom 可定制任务调度策略（Pluggable Scheduler）

2013-11-14 14:36:46 2131

转载 Storm原理与实现

Storm原理与实现转自徐明明的blog：http://xumingming.sinaapp.com/作者：phylips@bmy 2013-021 Storm简介1.1 简介本文主要是从内部实现的角度来认识下Storm(0.7.1版本)，因此需要用户对Storm的基本原理和使用具有一定的了解。如果缺乏这方面

2013-11-14 14:32:34 2089

转载 Clojure入门教程

2013-11-14 13:44:14 4102

转载 storm 简介及单机版安装指南

转载：http://www.open-open.com/lib/view/open1374979211233.html本文翻译自： https://github.com/nathanmarz/storm/wiki/TutorialStorm是一个分布式的、高容错的实时计算系统。Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Ma

2013-11-12 18:25:15 1299

转载 Hadoop + storm = summingbird

Twitter 推出一个开源系统，旨在减低批处理和流式处理之间的交换，做法是把二者组合在一起成为一个混合系统。Twitter 用Hadoop做批处理，用Storm做流式处理，混合系统称为Summingbird。此类混合系统实际上越来越常见，很多公司认识到他们没办法单靠Hadoop在实时世界生存。我们以前报道过不少公司——其中有Gravity，LinkedIn和Netflix——他们

2013-11-12 15:34:07 1790

原创 git “errno=Connection refused”

执行如下git命令时报错：git clone git://github.com/nathanmarz/storm-starter.git && cd storm-startererror：Cloning into 'storm-starter'...fatal: unable to connect to github.com:github.com[0: 192.30.252

2013-11-12 14:50:21 8368 1

转载 storm下运行C++程序(一)

转载，原文地址：http://blog.csdn.net/yan_mount/article/details/11527799学习storm有段时间了，也搭建了一个简单的环境，很欣赏它的一些理念，考虑到很多程序是C++实现的，如果要使用该平台的话，需要为这些程序实现一个接口，方便统一在storm中运行，折腾了几天，初步成功的实现了一个C++的bolt,特分享如下：1，需要先定义一个

2013-11-12 14:26:17 4430

转载转自淘宝的storm简介

场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副泳

2013-11-12 14:09:10 1318

原创 win7下mingw使用asio，报错 '::UnregisterWaitEx' has not been declared

D:\share\workspace/plato/externs/boost_1_54_0/boost/asio/detail/impl/win_object_handle_service.ipp: In member function 'void boost::asio::detail::win_object_handle_service::move_construct(boost::asio:

2013-11-06 17:41:16 2484

原创 win7下mingw为例编译boost

Boost 版本1.5.41.编译 1)生成bjam.exe cd boost_1_54_0\tools\build\v2 bootstrap.bat mingw mingw为编译器参数，根据实际情况指定，如msvc等，具体可见文档 2)使用bjam编译将bjam拷贝至boost根

2013-11-06 17:35:24 1301

转载判断当前系统大小端liteEndian bigEndian

C++怎样判别大端小端使用宏的方法：const int endian = 1;#define is_bigendian() ( (*(char*) &endian) == 0 )#define is_littlendbian() ( (*(char*) &endian) == 1 ) 方法二：bool IsLittleEndian(){

2013-11-05 14:12:08 1202

软件工程文档模板大全 - 国标GB8567

软件工程文档模板大全 - 国标GB8567，包含15个国标文档模板 1-操作手册（GB8567——88）.doc 2-测试分析报告（GB8567——88）.doc 3-测试计划（GB8567——88）.doc 4-概要设计说明书（GB8567——88）.doc 5-开发进度月报（GB8567——88）.doc 6-可行性研究报告（GB8567——88）.doc 7-模块开发卷宗（GB8567——88）.doc 8-软件需求说明书（GB856T——88）.doc 9-数据库设计说明书（GB8567——88）.doc 10-数据要求说明书（GB856T——88）.doc 11-文件给制实施规定的实

2020-11-11