![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
研发手记
iteye_1767
这个作者很懒,什么都没留下…
展开
-
ZCMS的Web采集(二):TB级别的网页容器
一个高性能的Web爬虫,必须有一个合适的网页容器。该容量最大的特点是要能够通过URL直接存取网页内容,并且要求有很高的性能,在一个千万级别的容器中存取一万次的时间应在1分钟左右(普通PC上)。 那么,有什么方式可以实现这个要求? 首先,我们想到文件系统,将URL编码(urlEncode,base64或hex都可以)后作为文件名直接存在文件系统的某个目录下,从而实现通过URL直接存取...2009-06-02 12:53:00 · 204 阅读 · 0 评论 -
ZCMS在各种中间件和数据库上的注意事项
这一阵子为ZCMS正式版做各个平台上的兼容性测试工作,做了一些小的修改,总体较为顺利,目前的情况如下: 一、JDK1.4和1.5上测试未发现问题。 二、Oracle 10.2,DB2 9.0,SQLServer 2005,MYSQL 5.0.23上测试未发现问题。 三、WebSphere 6.0,Weblogic 9.1,Tomcat 5.0,Tomcat 5.5上测试未发现问题; 四、在...2009-07-06 20:47:11 · 241 阅读 · 0 评论