2014年10月_woshiaotian

12月 11月 10月 09月 07月 05月 04月 03月 01月

原创从hbase读取数据优化策略和实验对比结果

起因：工作需要，我需要每5分钟从hbase中，导出一部分数据，然后导入到ES中，但是在开始阶段编写的python脚本，我发现从hbase读取数据的速度较慢，耗费大量的时间，影响整个导数过程，恐怕无法在5分钟内完成导数工作在咨询了老人后，采取部门优化策略，并记录了实验结果。

2014-10-24 13:44:05 1847 1

原创 celery expires 让celery任务具有时效性

起因:有的时候，我们希望任务具有时效性，比如定时每5分钟去抓取某个状态，由于celery队列中的任务可能很多，等到这个任务被执行时，已经超过了5分钟，那么这个任务的执行已经没有意义，因为下一次抓取已经执行了。

2014-10-22 15:15:27 3100

原创谈谈遇到的IncompleteRead

起因：最近通过HTTP的rest API 获取数据，数据格式为JSON字符串比较da

2014-10-20 11:34:17 10949

原创 Mac os 编码识别错误

起因：在Mac 上编写java 程序，用maven进行管理,

2014-10-16 17:14:59 1964

原创 mysql 总结(以后继续补充)

1. 查看配置参数show variables like '%cache%';2.

2014-10-07 16:40:51 616

起因：最近需要从hbase中向 ES中导一批数据，使用multiprocessing 启动多个程序同时向ES导数据，可以大大提高效率，因为导数的任务是可以按照时间分割的。令我十分不解的，multiprocessing 是如何实现任务的分发，以及结果的回传的。我希望能够把它的实现机制与操作系统的进程机制对应起来。经过阅读代码，得出的结论如下：1. 父进程作为整个任务的分发器，每个worker是一个子进程2. 子进程和父进程之间通过管道通讯，包括任务的分发和结果的回传（2个【管道】) ，管道通过【信号量

2014-10-03 12:12:42 2151

原创 python 日志收集服务器

引因: python 的日志收集服务是线程安全的(对同一个文件的写入，使用了锁)，但是对于多进程的情况，它是无法处理的。python 官方文档推荐的做法是，使用tcp 服务器专门用于日志的收集，以确保对的文件的写入是安全的。这里提供了日志收集服务器基于twisted的实现，可供参考，程序在centos上进行了测试，并可用于生产环境

2014-10-02 13:40:28 7998

TLS协议包抓包结果文件

使用wireshark抓到TLS 的协议包，参看我的博文《https 原理简析》

2015-07-30

python对象转json字符串小工具

代码中有例子，注意所有的unicode对象，都被转换成了utf-8的字符串,需要调整的,看下源码，自己改。

2012-12-21

linux下 tree 命令的简易实现

2012-05-05

SGI的STL源代码实现

SGI的STL源代码包括文档和代码。 The Standard Template Library, or STL, is a C++ library of container classes, algorithms, and iterators; it provides many of the basic algorithms and data structures of computer science. The STL is a generic library, meaning that its components are heavily parameterized: almost every component in the STL is a template. You should make sure that you understand how templates work in C++ before you use the STL.

2012-04-15

SqlMap自动生成小工具SqlMapAutoGen1.0

设计思路：通过java原生的反射机制获取java类的私有字段 1)获取字段名转换成数据库字段名注意这里有潜规则，默认是这样处理的 createDateTime --> CREATE_DATE_TIME car --> CAR 2)根据字段的java类型获取jdbc类型我只定义了以下规则 // javaType --> jdbcType rules.put("java.lang.String", "VARCHAR"); rules.put("java.lang.Long", "DECIMAL"); rules.put("java.lang.Integer", "DECIMAL"); rules.put("java.math.BigDecimal", "DECIMAL"); rules.put("java.util.Date", "TIMESTAMP"); 在SqlMapAutoGen类的构造函数中，可以自行修改 3)预先定义了模板 temple.xml (请放在D:/test 目录下) temple.xml定义了insert、update和delete方法模板中定义了一系列的特殊字符串，如#BASE_COLUMN_LIST# #BASE_COLUMN_LIST# #BASE_COLUMN_LIST#代表数据库字段列表在SqlMapAutoGen类中，通过程序自动生成这些字符串，然后再做替换写入到文件中生成的文件也存储在D:/test目录下文件名 = 表名 + "_SqlMap.xml"

2012-03-07

topcoder客户端

用这个客户端登陆topcoder比赛，参与有偿项目的开发

2010-12-29

人脸识别程序（可以用）

可以用，请使用bmp格式的源代码，程序

2008-10-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

woshiaotian的专栏