爬虫笔记
import warnings
import requests,re
def dowm_img(url,left,right,path):
warnings.filterwarnings(“ignore”)#HTTPS网页的SSL安全验证会有安全提示,这里表示忽略安全提示
req = requests.get(url,verify=False)#verify=False 表示饶过SSL安全验证
page = req.text
# print(page)
imag = re.findall((f’{left}(.*?){right}‘),page)
print(“开始下载图片!”)
print(f"一共{len(imag)}张图片")
if imag:
for i ,j in enumerate(imag):# 枚举 :i代表图片索引(从零开始),j代表图片
print(f’正在下载第{i+1}张图片,剩余{len(imag)-i-1}张图片’)
with open(f’{path}/{i+1}.jpeg’,‘wb’) as f:#以二进制写的方式打开文件
req = requests.get(url = j).content#对每个图片地址发起请求
f.write(req)#将请求的响应写到文件里
else:
print(“下载完成”)
else:
print(“页面不存在图片”)
if name == ‘main’:
dowm_img(“https://www.dgtle.com/article-1577836-1.html”,’ data-original=“‘,’” class’,“./image”)
主要针对没有设置反爬网站
未带参数的请求get请求
本人python小白一枚,欢迎各位大佬指导。