- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 heritrix 提高抓取速度
heritrix 提高抓取速度 博客分类： heritrix Bean配置管理浏览器 最近一直用heritrix爬取网站， 晚上heritrix一直运行着， 但奇怪的是heritrix 抓取速度非常慢， 抓取一个网站， 用了8个多小时， 竟然没有运行完。 于是根据LOG 分析了一下慢的原因 Java代码 -----===== SNOOZED
2012-05-10 18:23:05
2660
1
转载 heritrix 在Prefetcher中取消robots.txt的限制
Heritrix去除Robot.txt的限制（转载） 2012-03-26 9:20 在Prefetcher中取消robots.txt的限制 Robots.txt是一种专门用于搜索引擎网 络爬虫的文件，当构造一个网站时，如果作者希望该网站的内容被搜索引擎收录，就可以在网站中创建一个纯文本文件robots.txt，在这个文件中，声明 该网站不想被robot访问的部分。这样，该网站的部分或全
2012-05-10 18:18:53
1977
css 弹出框
这是一款利用jQuery和CSS3实现的自定义弹出窗口，这可比浏览器默认的弹出窗口漂亮多了。弹出窗口中可以自定义html，十分灵活。另外最重要的一个特点是，它利用了jQuery和CSS3可以实现很多种弹出窗口动画效果，挺酷的。
2014-05-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人