- 博客(2)
- 收藏
- 关注
RSS订阅转载 基于Berkeley DB实现的持久化队列
队列很常见,但大部分的队列是将数据放入到内存.如果数据过多,就有内存溢出危险,而且长久占据着内存,也会影响性能.比如爬虫,将要抓取的URL放到内存,而URL过多,内存肯定要爆.在读Heritrix源码中,发现Heritrix是基于Bdb实现了一个持久化队列,于是我就将这块代码独立出来,平时使用也蛮爽的,现在拿出来共享.同时数据已经持久化,相比放在内存的一次性,可以循环累加使用. 大家也知
2013-06-03 09:36:58
951
原创 MD5加密，并转换为16进制
背景：在做爬虫的URL处理专题中需要对URL进行处理再存储。要求： Java 中对数据进行MD5加密，并转换为16进制，以字符串的形式输出（1） 在Java中，java的java.security.MessageDigest已经定义了MD5的计算，得到的结果是128位整数。（2） 将此128位转换为十六进制以字符串的形式输出下面直接来代码import j
2013-06-02 12:54:04
3844
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人