爬取斗图吧网站并下载表情包

本文介绍了如何使用Python爬取斗图吧网站的表情包。首先解析URL获取不同页面的链接,接着抓取图片的data-original属性获取真实图片地址,同时处理特殊字符避免Windows下无法作为文件名的问题。最后,通过多线程的生产者消费者模式下载并保存图片。
摘要由CSDN通过智能技术生成
需求
获取斗图啦网站最新表情的信息,并下载图片到指定的文件夹。
为了提高下载速度可以使用多线程的方式操作。

获取需要用到的url

通过对网站url(https://www.doutula.com/photo/list/?page=1)的分析,可得page= 后的数字控制页数,那么就可以通过控制这个数字来获得每一页表情包的url

for x in range(1,11):
    url = 'https://www.doutula.com/photo/list/?page=%d' % x

获取要爬取图片的信息

在获取图片链接的时候要注意,图片真正的链接应该是在 data-original 之后,而不是 src之后
在Windows操作系统下,部分字符不能当作文件名,所以要将部分特殊字符替换掉,如:?。!等

response = requests.get(url,headers=self.headers)
text = response.text
html = etree.HTML(text)
imgs = html.xpath('//div[@class="page-content text-center"]//img[@class!="gif"]')
for img in imgs:
    img_url = img.get('data-original')
    #获取图片名字
    alt = img.get('alt')
    alt = re.sub(r'[\??\.,。!!\*]','',alt)
    #获取图片的后缀名
    suffix = os.path.splitext(img_url)[
  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值