我的Python网络爬虫学习
经过几周的学习,我对Python网络爬虫有了浅显的了解。自己身为一名资深的2次元粉,对各种cg插图十分感兴趣,于是自己通过查阅各种资料写了一个爬取yandre插图网站的图片的爬虫,供各位喜欢插画的伙伴们使用。
import re
import requests
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}
url='https://yande.re/post?tags=sakimichan'
path='C://pic/'
res=requests.get(url,headers=headers)
pic_urls=re.findall('<img src="(.*?)".*?>',res.text,re.S)
for pic_url in pic_urls:
data=requests.get(pic_url,headers=headers)
with open(path+pic_url[-7:],'wb') as f:
f.write(data.content)
print("正在下载中···")
f.close()