scrapy下载图片视频

沙子2019

于 2021-02-25 10:34:55 发布

阅读量392

点赞数

分类专栏： scrapy

本文链接：https://blog.csdn.net/weixin_43075863/article/details/114064547

版权

博客介绍了如何在Scrapy爬虫中通过Rule规则来指定下载图片和视频，特别是如何设置deny_extensions属性来忽略特定格式如mp4，并指定了LinkExtractor的tags和attrs参数。

摘要由CSDN通过智能技术生成

Rule规则默认忽略这些格式后缀

IGNORED_EXTENSIONS = [
    # archives
    '7z', '7zip', 'bz2', 'rar', 'tar', 'tar.gz', 'xz', 'zip',
    # images
    'mng', 'pct', 'bmp', 'gif', 'jpg'</

最低0.47元/天解锁文章

沙子2019

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
scrapy下载图片视频

Rule规则默认忽略这些格式后缀IGNORED_EXTENSIONS = [# archives‘7z’, ‘7zip’, ‘bz2’, ‘rar’, ‘tar’, ‘tar.gz’, ‘xz’, ‘zip’,# images'mng', 'pct', 'bmp', 'gif', 'jpg', 'jpeg', 'png', 'pst', 'psp', 'tif','tiff', 'ai', 'drw', 'dxf', 'eps', 'ps', 'svg', 'cdr', 'ico',# au
复制链接

扫一扫

专栏目录