2008年04月_Terark-CTO-雷鹏

12月 11月 10月 09月 06月 05月 04月 02月 01月

原创多线程的 pipeline 设计模式

一个简单例子：有很多个html网页，网页的id、title、url、path等信息存在一个数据库表中，网页内容存储在一个磁盘阵列上。现在要把所有网页都读出来，统计其中的html标签、正文等信息，并写入另一个数据库表，怎样的设计最好呢？一般的想法是使用多个平行的线程，每个线程处理某个ID范围的网页。但是仔细分析就可以发现，对每个网页的处理可以分为以下处理步骤：读取数据库行

2008-04-22 16:49:00 4590

原创 C++ 的缺点

C++ 现在最时髦的用法是 template meta programming。booster 们对此非常津津乐道，我本人也是个狂热的booster。到了什么程度？不使用template 就浑身不舒服，不boost一下就感觉对不起C++。但是这种狂热带来的严重后果就是程序编译速度极慢无比，生成的执行程序尺寸超常。曾经一个 C++ 服务器程序，代码也就10000行左右，编译出来的执行程序竟然20

2008-04-22 16:12:00 7770 4

原创通用的 LoserTree

- 共有 n 个内部结点，n 个外部结点 - winner 只用于初始化时计算败者树，算完后即丢弃 - winner/loser 的第 0 个单元都不是内部结点，不属于树中的一员 - winner 的第 0 个单元未用 - m_tree 的第 0 个单元用于保存最终的赢者, 其它单元保存败者 - 该初始化需要的 n-1 次比较，总的时间复杂度是 O(n) - 严蔚敏&吴伟民的 Lose

2008-04-22 15:14:00 2332

通用的 LoserTree

项目地址：http://code.google.com/p/febird - 共有 n 个内部结点，n 个外部结点 - winner 只用于初始化时计算败者树，算完后即丢弃 - winner/loser 的第 0 个单元都不是内部结点，不属于树中的一员 - winner 的第 0 个单元未用 - m_tree 的第 0 个单元用于保存最终的赢者, 其它单元保存败者 - 该初始化需要的...

2008-04-22 15:14:00 303

原创一个很强大的Comparator生成器

/** @brief 生成一个比较器(Comparator)，兼键提取(KeyExtractor)类使用这个宏生成的比较器可以作用在不同的对象上，只要这些对象有相同名称的成员，并且可以作用在类型为成员类型的对象上。 - 假设： - 有 n 个类 class[1], class[2], ... class[n]，都有类型为 MemberType ，

2008-04-22 15:02:00 876

一个很强大的Comparator生成器

项目地址：http://code.google.com/p/febird /** @brief 生成一个比较器(Comparator)，兼键提取(KeyExtractor)类使用这个宏生成的比较器可以作用在不同的对象上，只要这些对象有相同名称的成员，并且可以作用在类型为成员类型的对象上。 - 假设： - 有 n 个类 class...

2008-04-22 15:02:00 138

原创 Comparator 将 M×N 转化成 M+N

用C++写程序经常需要写一些很小的functor，最常见的例子就是 compare functor，排序的，查找的，自己每定义一个数据结构，就要定义一个 compare functor，甚至多个（对不同字段）。甚至，针对指针的，智能指针的……的compare，这件工作很繁琐，很容易使人厌倦。举个例子，同一个数据结构有M个字段，这些字段有P种类型，还有有N种不同的访问方式（直接提取、通过指针、通

2008-04-22 14:54:00 833

原创 C++ 中 Bool functor 的优化

原以为足够现代的编译器的优化能力很强，看来我是高估了。GCC 没测过，VC 2008 刚刚被证实了。 pairint,int> x(rand(), rand()), y(rand(), rand()); for (int i = 0; i 1000; ++i) { if (x y) x.first += y.second, y.s

2008-04-22 13:53:00 960

C++ Best Practice (高阶教程)

你所不知道的C++，临时变量、重载、模板、异常……等等你所不知道的细节

2013-02-25

Text Clustering

2007年的一个项目，对文章进行聚类分析，近千万篇文章，4核4G 的低端服务器即可有效处理并提供在线服务

2011-10-18

Hadoop.MapReduce.分析

2009年7月份写的一篇 Hadoop.MapReduce 介绍

2011-10-18

febird implemented a serialization framework(vs boost.serialization/google.protocolbuffer), can be used in protocol parsing, big/small data serialization, even in very small object serialize, performance is good. (such as key/data serialization in BerkeleyDB), it provide fast performance(30~80 times faster than boost.binary_archive), and lower memory usage. febird.rpc is a C++ remote procedure call without an IDL supporting, it based on the serialization framework. febird.rpc provide convenient usage and fast performance, and an uniform coding style. febird 实现了一个序列化框架（对比boost.serializaiton/google.protocolbuffer），可以用在协议解析，大/小数据的序列化，有极高的性能（比boost.binary_archive快30~80倍），甚至对于非常小的对象，例如只有几个字节的对象，这在序列化BerkeleyDB中key/data这么小的对象（可能只是一个整数/变长整数）时非常有用。该库提供了对BerkeleyDB的序列化封装，可以象使用std::map一样使用它。该库也实现了一个不需要IDL的rpc，使用几个宏，很方便的自动完成函数参数的序列化，比MFC的MessageMap?还要方便。使用时请checkout最新版，下载的那个版本比较旧了 @see http://blog.csdn.net/whinah http://blog.csdn.net/whinah/archive/2008/11/07/3248730.aspx http://blog.csdn.net/whinah/archive/2008/11/07/3248770.aspx

2009-04-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

whinah的专栏

原创多线程的 pipeline 设计模式

多线程的 pipeline 设计模式

原创 C++ 的缺点

C++ 的缺点

原创通用的 LoserTree

通用的 LoserTree

原创一个很强大的Comparator生成器

一个很强大的Comparator生成器

原创 Comparator 将 M×N 转化成 M+N

原创 C++ 中 Bool functor 的优化

C++ Best Practice (高阶教程)

有穷自动机的原理及应用

对称冗余集群架构

Text Clustering

HadoopStreaming

MapReduce应用

Hadoop.MapReduce.分析

febird C++ 库（附带所有源码）

空空如也