后羿采集器的使用

最新推荐文章于 2024-06-09 15:04:59 发布

MIrAcLe-T

最新推荐文章于 2024-06-09 15:04:59 发布

阅读量1.8k

点赞数

分类专栏： python数据分析文章标签： css 编辑器 pycharm

本文链接：https://blog.csdn.net/weixin_47005749/article/details/129169617

版权

python数据分析专栏收录该内容

26 篇文章 1 订阅

订阅专栏

后羿采集器的使用

1.下载链接

https://www.houyicaiji.com/ (后羿采集器)

https://www.bazhuayu.com/ （八爪鱼采集器）

2.打开页面

下载登录以后，新建分组，自拟组名即可

![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PPQJm9fZ-1677067733061)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230222192749344.png)](https://img-blog.csdnimg.cn/10b45fb2f41f4741bf3d88f8fdd1640f.png)

3.采集方式选择

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5VCEp5MK-1677067733063)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230222192955920.png)]$

根据自己的需求来选择，这里我们采用智能模式，智能模式相对简单一点。

4.爬取

顺序如图：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JVBTmyLw-1677067733064)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230222193224143.png)]$

点击立即创建之后就会自动识别爬取网页，如下图：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Q0hGEcjS-1677067733065)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230222193455635.png)]$

爬取豆瓣网top250的电影信息

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UN9LXYx2-1677067733067)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230222193801150.png)]$

也可以根据自己的需求对数据进行筛选，比如说只需要爬取评分为9.5以上的电影

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2AXgBPdA-1677067733068)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230222193926315.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tFaXaR9s-1677067733073)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230222194031466.png)]$