- 博客(40)
- 收藏
- 关注
RSS订阅原创 thrift 服务器如何获取客户端地址
THRIFT服务器缺省无法获取客户端连接的地址。经过研究，发现通过重载transport factory+Thread local，能够简单解决。不需要修改thrift生成的代码。 >>>>> arg.protocolFactory(protocolFactory); arg.outputTransportFactory(new TFramedTransport.Factory(...
2012-12-28 14:14:50
338
原创 Tungsten Replicator升级到2.0.6的变化
这两天，开始测试tungsten-queue-applier跟tungsten-replicator2.0.6的兼容性问题。 发现这个版本的tungsten有不少变化： 1. 原来属于enterprise的那些东西全部开源了，相应的package都要调整 2. ReplicateFilter的doFilter和ignoreFilter放弃了MySQL格式的匹配模式（%.table），...
2012-12-26 16:29:56
122
原创 我在数据库大会的PPT
linux下的文档，好不容易才上传上去... http://www.slideshare.net/tailorcai/cdcganjicom-12709722
2012-04-27 09:43:15
119
原创 Zookeeper简单使用的处理模型
Zookeeper的使用很多文章都提到。但是都是对API的描述。很少提到应该如何处理连接短线，session过期等等。我画了一张图，来描述ZK的处理流程。
2012-04-24 10:44:47
99
原创 CRC32 in PHP & Python
业务需要PHP和Python共享Memcache，因此自己实现了一个memcache的hash规则，用CRC32。但是突然发现Pyhton2.x的binascii.crc32的范围有负数。因此写了一个测试脚本来验证： ...
2012-03-29 13:14:50
163
原创 Tungsten Replicator解决异构数据同步的需求
从发现Tungsten Replicator到线上部署，历时4个月。中间也遇到了很多困难，不过在同事的大力配合下，CDC项目(内部名称）已经替代老的事件通知系统，成为网站内部数据更新的重要组成部分。每天处理的数据更新条目数超过200W。 传统的使用Tungsten，是把它作为DB Replication的一部分。但是在互联网架构中，异构数据系统之间如何保持数据的一致性，是架构师面临的普遍挑战...
2011-09-08 18:33:40
316
原创 python 和 php-gd图片处理性能对比
python + PIL [code="java"] #coding=utf-8 import PIL from PIL import Image import time start = time.time() im = Image.open("sample.jpg") im1 = im.resize((100,100), Image.ANTIALIAS) im1.sav...
2011-09-06 13:48:15
411
原创 Twitter用的Kestrel队列的应用实践（后续）
上次提高用mmagent作为前端，kestrel作为队列服务。经过实际验证后发现，mmagent能够缓解kestrel的连接拥塞现象，但是在某些情况下，依然会出现kestrel几乎没有响应的情况。 目前的方案是： app -> memcacheq -(script)-> kestrel 虽然很恶心，但是至少能够work了。 ...
2010-08-17 13:32:34
136
测试python响应SIGTERM的代码
[code="java"]#! import time, signal quit = False def shutdown_all(signum, frame): global quit quit = True if __name__=="__main__": signal.signal(signal.SIGTERM, shutdown_all) whi...
2010-04-16 18:26:33
609
Twitter用的Kestrel队列的应用实践
新的公司准备上消息队列，用于统一用户发布信息后续处理流程。考虑到网站的流量已经比较大了，选择一个消息队列产品成为当务之急。 运行环境：LAMP,PHP服务器6台。 要求：速度快；简单易用；运行稳定（数据一般不丢失);支持子队列 稳定性，应该包含下面一些情况： 1. 如果队列服务出错，能够有failover的队列保证业务正常运行 2. 已经在队列中的数据，能够在队列恢复时，得到处理...
2010-04-07 18:14:38
310
原创 python 修改rc文件版本号的脚本
[code="python"]# import sys,re if __name__=="__main__": rc = sys.argv[1] ver = sys.argv[2] ver = ver.replace('.', ',') ver1 = ver.replace(',' , ', ') rc = rc.replace("\\\\","\\") ...
2009-10-20 11:38:34
601
原创 luntbuild使用自定义标签的方法
luntbuild使用自定义标签的方法 引入另外一个文件 [code="xml"][/code] 使用自定义标签 [code="xml"][/code] base文件内容 [code="xml"] ...
2009-10-20 11:37:09
162
原创 使用insert_iterator简化通用容器操作
STL中的不同容器具有不同的插入操作接口，比如 vector,list,queue等使用push_back,pop_front等 map, set等使用insert 如何编写通用的插入操作呢。这里可以使用insert iterator [code="c++"]template void build( OutIt it ) { for( int i=0;i...
2009-09-21 17:59:23
171
C++模板类型匹配在RPC分发中的应用研究
最近研究了一下MammothServer，发现里面有一个叫Dispatcher的实现，很有意思。正好自己最近在学习boost::mpl等东东，因此花了几天学习，并把自己的学习心得总结了一下。相信对大多数C++程序员会有帮助。 前言 在编写通讯框架时，经常要处理众多的协议。而处理完协议后，再调用相应的处理函数时， 在C++中，我们一般要使用统一接口。比如Windows消息中的MSG结构...
2009-09-01 14:21:05
145
原创 boost::mpl学习日记1
记录一下mpl学习结果： [quote]1-1. Turn vector_c into a type sequence with elements (2,3,4) using transform. [/quote] 对vector做一个加1就可以了 [code="java"] typedef mpl::vector_c AAA; typedef mpl::vecto...
2009-08-26 10:09:51
717
原创 mht的安全警告问题
昨天发现新生成的MHTML文件，在某些客户的机器上不能正常显示，纷纷弹出错误对话框。 于是远程连到客户机器上，用他的IE生成一个以后就不会报错。于是对比了一下文件： 其它大部分都相同，除了分割的部分以及头： 客户生成的部分 [code="java"] Content-Type: multipart/related; type="text/html"; boundary="...
2009-08-21 13:42:49
341
原创 基于Milton的webdav解决方案 - Test
建立目录 d:\test 新建网络邻居 http://127.0.0.1:8080/webdav 就可以了。 [code="java"] package com.scs; import java.io.File; import java.io.IOException; import javax.servlet.ServletException; import jav...
2009-08-18 17:54:19
571
1
原创 检测IE对MHTML的支持
很多定制的windows会去掉Outlook Express.导致IE不支持MHTML的支持：参考[url]http://bbs.lxsea.com/read-htm-tid-1160.html[/url] 因此想在程序中检测系统是否支持MHTML。 从注册表中查到INETCOMM的主要的CLSID [code="java"] //INETCOMM asynchronise proto...
2009-08-18 09:59:52
216
原创 用模板简化factory的实现
[code="java"] // test-object-create-template.cpp : Defines the entry point for the console application. // #include "stdafx.h" #include #include #include using namespace std; class BA...
2008-06-16 12:13:49
95
对pywinauto进行修改以支持中文名称的正则表达式
在find_windows中： def conv(v): import logging logging.debug(v) v1 = v v2 = v1.encode('utf8') return v2 windows = [win ...
2008-05-14 09:32:57
407
python 正则表达式匹配中文utf8
[code="java"]>>> import re >>> x = u'中国'.encode('utf8') >>> s = x.__repr__() >>> s "'\\xc3\\x96\\xc3\\x90\\xc2\\xb9\\xc3\\xba'" >>> pattern = '.*%s.*' % s[1:-1] >>> pattern '.
2008-05-13 22:43:20
465
html中的空格
今天发现一个奇怪的现象： 段落前面的空格，如果是标准的" "，浏览器会不显示。而如果是  则会正常显示。可能是为了照顾人们写html的方式吧。 ...
2008-05-07 10:48:49
129
能运行在wince上的基于Python的华容道小游戏
基于之前编译的pygame模块，终于可以实现自己的目标，做一个华容道小游戏。也让我的dopodD600有些事情可作。 代码比较简单，我就不介绍了。参见代码。贴了一个windows版本的截图 相关的模块包见之间的文章...
2008-05-05 16:39:52
466
编译pygame的font模块
之前的文章，只编译了基本的模块，这些模块只依赖于SDL.dll。这次，首先要编译Font模块。 Font模块依赖于freetype开源库。下载这个库后，发现已经包含对CE的支持，但是没有evc4的工程文件，因此，建了一个。(debug版本Link的时候有错误，直接编译release即可） 相关的目录需要手工修改一下。（必须把freetype/include加到全局的include中） ...
2008-05-05 16:29:40
287
编译pygame的wince版本
预先准备的包参见前一篇文章。（包括需要copy的目录和文件） 1. 下载并编译SDL 1.2.13 2. 对Pygame的代码进行修改：去掉signal.h,long long.（去掉Longlong会对transform有影响，不过暂时用不到，不知道有没有更好的解决方案） 3. 将编译wince需要的文件copy到pygame/ce下 4. 修改SConstruct文件如...
2008-05-04 17:57:34
130
在windows下编译pythonce的扩展模块
遵照 [url]http://pythonce.sourceforge.net/Wikka/SConsBuild[/url] 的指示： 1. 下载PythonCe source package [url]http://sourceforge.net/project/downloading.php?group_id=104228&use_mirror=jaist&filename=Python...
2008-05-04 14:37:56
217
WM5安装ppygui
ppygui是一个基于pythonce的界面库，使用了原生的windows控件，并提供了更加符合python规范的API，是用python编写WindowsCE小程序的很好的工具。值得一提的是，ppygui提供了一套简单而方便的layout实现，便于在小屏幕上开发UI。 安装的时候发现，在我的SD卡上运行，因为目录中包含中文，安装不成功，copy到机器内容中就可以了。...
2008-05-04 09:45:37
86
GWT中，访问IFrame中的对象的方法
今天修改后台CMS，需要自己创建一个IFrame，并且修改里面的内容。花了不少的时间在测试上，终于找到了一个比较简单的方法： 1. 创建： Frame frame = new Frame("http://www.g.cn") 2. JSNI函数： private static native void setIFrameContent(Element element, Str...
2008-04-25 17:53:48
152
J2ME网络连接确认的多线程问题
在修改我的路况信息的小程序的过程中，终于发现一个特别的现象。 当弹出连接确认的canvas时，这时，虽然是在网络链接的线程中，但是，同样也会进入显示的paint函数，从而导致循环。 即绘图线程 -》 paint -》等待网络线程 -》确认 -》paint 后来干脆在paint中判断线程对象，暂时绕开了这个问题。这跟windows下的界面开发可是完全不一样，难以理解的说。还是对j2me...
2008-04-21 18:22:48
70
MyGWT + Fckeditor 的集成
MyGWT是我一直在用的框架。虽然功能相对少些，但是整个开发习惯等等都很好，很适合我这个做过多年客户端开发的人。 不过MyGWT的界面Layout有个特点，就是layout严格依赖于基于mygwt的派生类。如果中间其它的实现，比如gwt标准的。相应的onResize等事件就进不去了。而我这个项目最早不是基于mygwt，因此，只好先进行改造。 mygwt0.4版本中有一个bug，就是Ro...
2008-04-11 17:30:46
79
django调整数据库时容易出现的问题
1 去掉字段后，该字段在数据库中没有缺省值，导致model建立出错 2 去掉字段后，要经过两个版本的同步运行，这时，如果去掉的字段在查询条件中，可能导致出现重复的字段。...
2008-04-10 13:52:08
79
给家里的Dell D600装了Ubuntu 7.10
先是装了7.04，可是中文老是有问题。后来才知道，需要先update。郁闷。正好重装7.10。还不错，除了字体稍差，其他一切正常。
2008-04-07 17:46:02
113
基于django0.96的自动测试功能的Login增强
0.96不支持client对象，先Login再提交数据。因此，参照trunk，改写了Client [code="java"] def login_new(self, **credentials): """Set the Client to appear as if it has sucessfully logged into a site. Retu...
2008-03-31 16:38:17
50
ActiveMQ + Python
首先试用了pyactivemq，不过这个代码在windows下测试用例都过不去。在linux下可以测试过，但是Durable..的测试程序工作不正常，ActiveMQ总是报无法从store中回复数据。 只好试stomp库。这个库的例程有些问题。我改了一下，我希望的功能可以用。 listener应该这样写： class MyListener(stomp.ConnectionListen...
2008-03-27 22:53:24
439
测试python rpc的性能
客户端： import xmlrpclib,time server = xmlrpclib.ServerProxy("http://localhost:8888") for i in range(1,10): a = time.time() month = server.getMonth( 2002, i ) month = server.getMonth( 2...
2008-03-26 14:39:28
418
[记录]配置jetty
把jetty.sh复制到/etc/init.d下 在/etc/创建jetty.conf文件，里面指向jetty.xml 在/etc/default创建jetty执行文件，里面初始化JETTY_HOME和JAVA_HOME
2008-02-26 15:38:05
67
用Groovy动态编译的对象作为Drools的Fact遇到的问题
最近，希望实现将Groovy和Drools结合起来实现，全动态的Model和Rule的实现方案。发现Groovy动态生成的类在Drools中使用有一些兼容性的问题。 这是我的Unittest: java 代码 package com.dg; import groovy.lang.GroovyClassLoader; impor...
2007-09-26 15:11:59
841
jboss rules brms和ruleAgent的配合使用
这两天，准备把BRMS和运行的工程结合起来，实现从编辑规则到热更新的全套流程。 首先，从blog中看到官方推出了一个独立版本的BRMS，于是赶紧去download了一个。这个包自带了tomcat，以及一个demo的应用例子。安装很顺利，可以使用起来问题多多。现有的例子好几个地方点击就报错。到tomcat的输出里面一查，报class not found: ruleasset。反复试了多次，都是同样...
2007-08-03 18:39:45
81
我的第一个Ajax Wicket控件：Google Ajax Image Search (2)
今天，继续介绍我在尝试开发的Google Ajax Image Search控件。 为了允许用户保存自己选择的图片，Google Search API提供了一个Callback.因此，修改如下代码： java 代码 .append("function MyKeepHandler(result) {\n") .append("\twicketAjaxPost('" + ...
2007-07-27 09:41:34
132
我的第一个Ajax Wicket控件：Google Ajax Image Search (1)
最近看到Google发布了新的基于Ajax的图片搜索功能，正好本人在研究Wicket，在网上Google了一下，看到WicketStuff中只有对GoogleMap的支持，因此想自己开发一个，顺便练练手。 创建工程和代码框架 首先创建一个Wicket工程，并创建一个页面。我本人用的是Wicket Bench，不过它是针对1.2设计的，而我的库用的是1.3，因此，自动生成的import有问题，需要...
2007-07-26 10:07:00
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人