WebCrawler使用实例
anson2003
留着备用
展开
-
抓取网站实例配置(一)
附件中包含一个抓取的完整操作实例。 主要有如何配置入口地址,如何配置URL类型的字段,如何保存数据库。其中还有Parent类型的一个配置。 任何情况下,配置组只有设置了表名的情况下才会去把该组的数据存储起来。 表名其实是:是否存储该数据组的标志。 祝大家使用顺利。 爬虫下载地址: http://anson2003.iteye.com/blog/3853...2009-05-15 07:53:08 · 119 阅读 · 0 评论 -
WebCrawler实例配置(二)
爬虫下载地址:http://anson2003.iteye.com/blog/385344 如何抓取图片(Binary) 到本地 在配置中选择Binary 字段类型 . 所有的 Binary 下载下来之后自动重命名为 MD5(url).b 存储位置和下载地址分别都在映射表达式里指定. 最多尝试 3 次抓取。 如抓取baidu 的 Logo: ...2009-05-16 08:47:33 · 177 阅读 · 0 评论