八爪鱼批量爬取html中的数据,网页数据如何批量采集_视频教程 - 八爪鱼采集器...

本视频介绍循环方式中的URL循环和文本循环。

URL循环适用场景：

在多个同类型的网页中，需要采集的字段相同。

例如：

https://movie.douban.com/subject/26387939/

https://movie.douban.com/subject/6311303/

https://movie.douban.com/subject/1578714/

在自定义模式的第一步--输入网址，即可输入多个同类型的网址，

直接手动输入，建议不超过1万条。文件/任务导入和批量生成，则支持100万条。

当输入多个网址时，八爪鱼会自动生成URL循环。

作用：

使用URL循环，云采集时将会自动拆分任务，将加快采集速度，减小被防采被封IP的概率。

对于详情页打开容易出错加载不全的网站，使用URL循环也是绝佳的规避方案。

文本循环适用场景：

网页有提供搜索框(或输入框)，并支持输入关键词后点击搜索(不支持只能Enter回车的搜索方式)。

在搜索框中循环输入关键词，采集关键词搜索结果的信息。

作用：

1.在任务中可以一次性存储多个关键词，程序将依次使用每一个关键词，从而批量获取到所需数据。

2.文本循环的方式，在云采集时将支持任务拆分，将加快采集速度，减小被防采被封IP的概率。