- 博客(40)
- 收藏
- 关注
原创 thrift 服务器如何获取客户端地址
THRIFT服务器缺省无法获取客户端连接的地址。经过研究,发现通过重载transport factory+Thread local,能够简单解决。不需要修改thrift生成的代码。>>>>> arg.protocolFactory(protocolFactory); arg.outputTransportFactory(new TFramedTransport.Factory(...
2012-12-28 14:14:50 351
原创 Tungsten Replicator升级到2.0.6的变化
这两天,开始测试tungsten-queue-applier跟tungsten-replicator2.0.6的兼容性问题。发现这个版本的tungsten有不少变化:1. 原来属于enterprise的那些东西全部开源了,相应的package都要调整2. ReplicateFilter的doFilter和ignoreFilter放弃了MySQL格式的匹配模式(%.table),...
2012-12-26 16:29:56 160
原创 我在数据库大会的PPT
linux下的文档,好不容易才上传上去...http://www.slideshare.net/tailorcai/cdcganjicom-12709722
2012-04-27 09:43:15 139
原创 Zookeeper简单使用的处理模型
Zookeeper的使用很多文章都提到。但是都是对API的描述。很少提到应该如何处理连接短线,session过期等等。我画了一张图,来描述ZK的处理流程。
2012-04-24 10:44:47 115
原创 CRC32 in PHP & Python
业务需要PHP和Python共享Memcache,因此自己实现了一个memcache的hash规则,用CRC32。但是突然发现Pyhton2.x的binascii.crc32的范围有负数。因此写了一个测试脚本来验证:...
2012-03-29 13:14:50 202
原创 Tungsten Replicator解决异构数据同步的需求
从发现Tungsten Replicator到线上部署,历时4个月。中间也遇到了很多困难,不过在同事的大力配合下,CDC项目(内部名称)已经替代老的事件通知系统,成为网站内部数据更新的重要组成部分。每天处理的数据更新条目数超过200W。传统的使用Tungsten,是把它作为DB Replication的一部分。但是在互联网架构中,异构数据系统之间如何保持数据的一致性,是架构师面临的普遍挑战...
2011-09-08 18:33:40 356
原创 python 和 php-gd图片处理性能对比
python + PIL[code="java"]#coding=utf-8import PILfrom PIL import Imageimport timestart = time.time()im = Image.open("sample.jpg")im1 = im.resize((100,100), Image.ANTIALIAS)im1.sav...
2011-09-06 13:48:15 424
原创 Twitter用的Kestrel队列的应用实践(后续)
上次提高用mmagent作为前端,kestrel作为队列服务。经过实际验证后发现,mmagent能够缓解kestrel的连接拥塞现象,但是在某些情况下,依然会出现kestrel几乎没有响应的情况。目前的方案是:app -> memcacheq -(script)-> kestrel虽然很恶心,但是至少能够work了。...
2010-08-17 13:32:34 176
测试python响应SIGTERM的代码
[code="java"]#!import time, signalquit = Falsedef shutdown_all(signum, frame): global quit quit = Trueif __name__=="__main__": signal.signal(signal.SIGTERM, shutdown_all) whi...
2010-04-16 18:26:33 627
Twitter用的Kestrel队列的应用实践
新的公司准备上消息队列,用于统一用户发布信息后续处理流程。考虑到网站的流量已经比较大了,选择一个消息队列产品成为当务之急。运行环境:LAMP,PHP服务器6台。要求:速度快;简单易用;运行稳定(数据一般不丢失);支持子队列稳定性,应该包含下面一些情况:1. 如果队列服务出错,能够有failover的队列保证业务正常运行2. 已经在队列中的数据,能够在队列恢复时,得到处理...
2010-04-07 18:14:38 347
原创 python 修改rc文件版本号的脚本
[code="python"]#import sys,reif __name__=="__main__": rc = sys.argv[1] ver = sys.argv[2] ver = ver.replace('.', ',') ver1 = ver.replace(',' , ', ') rc = rc.replace("\\\\","\\") ...
2009-10-20 11:38:34 629
原创 luntbuild使用自定义标签的方法
luntbuild使用自定义标签的方法引入另外一个文件[code="xml"][/code]使用自定义标签[code="xml"][/code]base文件内容[code="xml"] ...
2009-10-20 11:37:09 173
原创 使用insert_iterator简化通用容器操作
STL中的不同容器具有不同的插入操作接口,比如vector,list,queue等使用push_back,pop_front等map, set等使用insert如何编写通用的插入操作呢。这里可以使用insert iterator[code="c++"]templatevoid build( OutIt it ) { for( int i=0;i...
2009-09-21 17:59:23 203
C++模板类型匹配在RPC分发中的应用研究
最近研究了一下MammothServer,发现里面有一个叫Dispatcher的实现,很有意思。正好自己最近在学习boost::mpl等东东,因此花了几天学习,并把自己的学习心得总结了一下。相信对大多数C++程序员会有帮助。前言在编写通讯框架时,经常要处理众多的协议。而处理完协议后,再调用相应的处理函数时,在C++中,我们一般要使用统一接口。比如Windows消息中的MSG结构...
2009-09-01 14:21:05 164
原创 boost::mpl学习日记1
记录一下mpl学习结果:[quote]1-1. Turn vector_c into a type sequence with elements (2,3,4) using transform.[/quote]对vector做一个加1就可以了[code="java"] typedef mpl::vector_c AAA;typedef mpl::vecto...
2009-08-26 10:09:51 753
原创 mht的安全警告问题
昨天发现新生成的MHTML文件,在某些客户的机器上不能正常显示,纷纷弹出错误对话框。于是远程连到客户机器上,用他的IE生成一个以后就不会报错。于是对比了一下文件:其它大部分都相同,除了分割的部分以及头:客户生成的部分[code="java"]Content-Type: multipart/related; type="text/html"; boundary="...
2009-08-21 13:42:49 360
原创 基于Milton的webdav解决方案 - Test
建立目录 d:\test新建网络邻居 http://127.0.0.1:8080/webdav就可以了。[code="java"]package com.scs;import java.io.File;import java.io.IOException;import javax.servlet.ServletException;import jav...
2009-08-18 17:54:19 690 1
原创 检测IE对MHTML的支持
很多定制的windows会去掉Outlook Express.导致IE不支持MHTML的支持:参考[url]http://bbs.lxsea.com/read-htm-tid-1160.html[/url]因此想在程序中检测系统是否支持MHTML。从注册表中查到INETCOMM的主要的CLSID[code="java"]//INETCOMM asynchronise proto...
2009-08-18 09:59:52 232
原创 用模板简化factory的实现
[code="java"]// test-object-create-template.cpp : Defines the entry point for the console application.//#include "stdafx.h"#include #include #include using namespace std;class BA...
2008-06-16 12:13:49 111
对pywinauto进行修改以支持中文名称的正则表达式
在find_windows中: def conv(v): import logging logging.debug(v) v1 = v v2 = v1.encode('utf8') return v2 windows = [win ...
2008-05-14 09:32:57 427
python 正则表达式匹配中文utf8
[code="java"]>>> import re>>> x = u'中国'.encode('utf8')>>> s = x.__repr__()>>> s"'\\xc3\\x96\\xc3\\x90\\xc2\\xb9\\xc3\\xba'">>> pattern = '.*%s.*' % s[1:-1]>>> pattern'.
2008-05-13 22:43:20 489
html中的空格
今天发现一个奇怪的现象:段落前面的空格,如果是标准的" ",浏览器会不显示。而如果是  则会正常显示。可能是为了照顾人们写html的方式吧。 ...
2008-05-07 10:48:49 150
能运行在wince上的基于Python的华容道小游戏
基于之前编译的pygame模块,终于可以实现自己的目标,做一个华容道小游戏。也让我的dopodD600有些事情可作。代码比较简单,我就不介绍了。参见代码。贴了一个windows版本的截图相关的模块包见之间的文章...
2008-05-05 16:39:52 478
编译pygame的font模块
之前的文章,只编译了基本的模块,这些模块只依赖于SDL.dll。这次,首先要编译Font模块。Font模块依赖于freetype开源库。下载这个库后,发现已经包含对CE的支持,但是没有evc4的工程文件,因此,建了一个。(debug版本Link的时候有错误,直接编译release即可)相关的目录需要手工修改一下。(必须把freetype/include加到全局的include中)...
2008-05-05 16:29:40 307
编译pygame的wince版本
预先准备的包参见前一篇文章。(包括需要copy的目录和文件)1. 下载并编译SDL 1.2.132. 对Pygame的代码进行修改:去掉signal.h,long long.(去掉Longlong会对transform有影响,不过暂时用不到,不知道有没有更好的解决方案)3. 将编译wince需要的文件copy到pygame/ce下4. 修改SConstruct文件如...
2008-05-04 17:57:34 167
在windows下编译pythonce的扩展模块
遵照[url]http://pythonce.sourceforge.net/Wikka/SConsBuild[/url]的指示:1. 下载PythonCe source package [url]http://sourceforge.net/project/downloading.php?group_id=104228&use_mirror=jaist&filename=Python...
2008-05-04 14:37:56 253
WM5安装ppygui
ppygui是一个基于pythonce的界面库,使用了原生的windows控件,并提供了更加符合python规范的API,是用python编写WindowsCE小程序的很好的工具。值得一提的是,ppygui提供了一套简单而方便的layout实现,便于在小屏幕上开发UI。安装的时候发现,在我的SD卡上运行,因为目录中包含中文,安装不成功,copy到机器内容中就可以了。...
2008-05-04 09:45:37 100
GWT中,访问IFrame中的对象的方法
今天修改后台CMS,需要自己创建一个IFrame,并且修改里面的内容。花了不少的时间在测试上,终于找到了一个比较简单的方法:1. 创建: Frame frame = new Frame("http://www.g.cn")2. JSNI函数: private static native void setIFrameContent(Element element, Str...
2008-04-25 17:53:48 164
J2ME网络连接确认的多线程问题
在修改我的路况信息的小程序的过程中,终于发现一个特别的现象。当弹出连接确认的canvas时,这时,虽然是在网络链接的线程中,但是,同样也会进入显示的paint函数,从而导致循环。即绘图线程 -》 paint -》等待网络线程 -》确认 -》paint后来干脆在paint中判断线程对象,暂时绕开了这个问题。这跟windows下的界面开发可是完全不一样,难以理解的说。还是对j2me...
2008-04-21 18:22:48 82
MyGWT + Fckeditor 的集成
MyGWT是我一直在用的框架。虽然功能相对少些,但是整个开发习惯等等都很好,很适合我这个做过多年客户端开发的人。不过MyGWT的界面Layout有个特点,就是layout严格依赖于基于mygwt的派生类。如果中间其它的实现,比如gwt标准的。相应的onResize等事件就进不去了。而我这个项目最早不是基于mygwt,因此,只好先进行改造。mygwt0.4版本中有一个bug,就是Ro...
2008-04-11 17:30:46 95
django调整数据库时容易出现的问题
1 去掉字段后,该字段在数据库中没有缺省值,导致model建立出错2 去掉字段后,要经过两个版本的同步运行,这时,如果去掉的字段在查询条件中,可能导致出现重复的字段。...
2008-04-10 13:52:08 93
给家里的Dell D600装了Ubuntu 7.10
先是装了7.04,可是中文老是有问题。后来才知道,需要先update。郁闷。正好重装7.10。还不错,除了字体稍差,其他一切正常。
2008-04-07 17:46:02 122
基于django0.96的自动测试功能的Login增强
0.96不支持client对象,先Login再提交数据。因此,参照trunk,改写了Client[code="java"] def login_new(self, **credentials): """Set the Client to appear as if it has sucessfully logged into a site. Retu...
2008-03-31 16:38:17 63
ActiveMQ + Python
首先试用了pyactivemq,不过这个代码在windows下测试用例都过不去。在linux下可以测试过,但是Durable..的测试程序工作不正常,ActiveMQ总是报无法从store中回复数据。只好试stomp库。这个库的例程有些问题。我改了一下,我希望的功能可以用。listener应该这样写:class MyListener(stomp.ConnectionListen...
2008-03-27 22:53:24 460
测试python rpc的性能
客户端:import xmlrpclib,timeserver = xmlrpclib.ServerProxy("http://localhost:8888")for i in range(1,10): a = time.time() month = server.getMonth( 2002, i ) month = server.getMonth( 2...
2008-03-26 14:39:28 452
[记录]配置jetty
把jetty.sh复制到/etc/init.d下在/etc/创建jetty.conf文件,里面指向jetty.xml在/etc/default创建jetty执行文件,里面初始化JETTY_HOME和JAVA_HOME
2008-02-26 15:38:05 81
用Groovy动态编译的对象作为Drools的Fact遇到的问题
最近,希望实现将Groovy和Drools结合起来实现,全动态的Model和Rule的实现方案。发现Groovy动态生成的类在Drools中使用有一些兼容性的问题。这是我的Unittest:java 代码 package com.dg; import groovy.lang.GroovyClassLoader; impor...
2007-09-26 15:11:59 866
jboss rules brms和ruleAgent的配合使用
这两天,准备把BRMS和运行的工程结合起来,实现从编辑规则到热更新的全套流程。首先,从blog中看到官方推出了一个独立版本的BRMS,于是赶紧去download了一个。这个包自带了tomcat,以及一个demo的应用例子。安装很顺利,可以使用起来问题多多。现有的例子好几个地方点击就报错。到tomcat的输出里面一查,报class not found: ruleasset。反复试了多次,都是同样...
2007-08-03 18:39:45 98
我的第一个Ajax Wicket控件:Google Ajax Image Search (2)
今天,继续介绍我在尝试开发的Google Ajax Image Search控件。为了允许用户保存自己选择的图片,Google Search API提供了一个Callback.因此,修改如下代码:java 代码 .append("function MyKeepHandler(result) {\n") .append("\twicketAjaxPost('" + ...
2007-07-27 09:41:34 140
我的第一个Ajax Wicket控件:Google Ajax Image Search (1)
最近看到Google发布了新的基于Ajax的图片搜索功能,正好本人在研究Wicket,在网上Google了一下,看到WicketStuff中只有对GoogleMap的支持,因此想自己开发一个,顺便练练手。创建工程和代码框架首先创建一个Wicket工程,并创建一个页面。我本人用的是Wicket Bench,不过它是针对1.2设计的,而我的库用的是1.3,因此,自动生成的import有问题,需要...
2007-07-26 10:07:00 127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人