网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
爬取的网址
下面是详细的代码
# 第一步,找到所要爬取图片的地址
"""
1.请求目标网站
2.匹配不同图片地址(url)
3.找到所要爬取图片的地址
"""
def get_urls(url):
h = {
'Referer': "https://qq.yh31.com/zjbq/2920180.html",
'Host': "qq.yh31.com",
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36 Edg/102.0.1245.33',
}
# 1.请求目标网站
response = requests.get(url, headers=h)
# 2.通过正则来匹配不同图片地址(url)
"""
# 每张图片共有内容保留,不同的内容用.*?来匹配
# .*:表示匹配任意数量不换行的字符
# ?:表示尽可能匹配最短的字符
r'<img border="0" alt="" src="/tp/Photo7/ZJBQ/20099/200909291701134159.gif">'
"""
url_add = r'img.*? src="(.*?)"'
# url_add = r'img border="0".?* src="(.*?)"'
# print(url_add)
# 3.找到所要爬取图片的地址
url_list = re.findall(url_add, response.text)
# print(url_list)
response.close()
return url_list
# 第二步,根据凭借完整的地址,下载图片数据
def get_gif(url, name):
print("下载图片", url)
h = {
'Referer': "https://qq.yh31.com/zjbq/2920180.html",
'Host': "qq.yh31.com",
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36 Edg/102.0.1245.33',
}
r = requests.get(url, headers=h, stream=True)
# 1.请求要爬取图片的url
# print(name)
# 2.下载数据,保存到路径下 D:\\learn\\img
with open('D:\\learn\\img\\%s' % name, 'wb') as ft:
ft.write(r.content)
r.close()
print("等待下一次下载")
time.sleep(2)
if __name__ == '__main__':
url = 'https://qq.yh31.com/zjbq/2920180.html'
url_list = get_urls(url)
# 把列表当中的数据提取,并拼接成完整的图片url地址
for url in url_list:
# print(url)
gif_name = url[int(url.rfind('/')) + 1:]
# print(url[int(url.rfind('/')) + 1:])
# print(gif_name)
com_url = 'https://qq.yh31.com' + url
print(com_url)
# 调用下载图片函数
get_gif(com_url, gif_name)
爬取结果和保存
代码是经过修改后的,没什么经验,第一次爬取网站表情包,欢迎批评指正。代码没毛病但是可能反爬的比较厉害,所以可能会出现一些错误。