1.看需要采集数据的网页的源代码(不只是查找网页元素),有时需要抓包分析,数据所在的真实地址,可使用工具fiddler
fiddler工具下载地址:http://www.locoy.com/Down/RelatedSoft/Fiddler.html
fiddler使用实例之----------查找隐藏的真实地址:http://bbs.locoy.com/spider-133138-1-1.html
2.发布模块,启用方式二:保存为本地txt,word等,在第一次开始任务时,正常执行,第二次执行任务,发现提示“采网址成功5条,重复5条,采内容成功0条,失败0条,发内容成功0条,失败0条,”,不重写原来的文件,解决方式为:
红色方框不勾选
3.添加多级网址时,写的采集规则的起始符,为整个模块大体的起始,并非每个url的起始