大家好我叫hardy
需求:爬取某个页面,并把该页面的图片下载到本地
思考:
img标签一个有多少种类型的src值?四种:1、以http开头的网络链接。2、以“//”开头网络地址。3、以“/”开头绝对路径。4、以“./”开头相对路径。当然还有其他类型,不过这个不做考虑,能力有限呀。
使用什么工具?我用requests、xpth
都有那些步骤:1、爬取网页
2、分析html并获取img中的src的值
3、获取图片
4、保存
具体实现
import requests from lxml import etree import time import os import re requests = requests.session() website_url = '' website_name = '' ''' 爬取的页面 ''' def html_url(url): try: head = set_headers() text = requests.get(url,headers=head) # print(text) html = etree.HTML(text.text) img = html.xpath('//img/@src') # 保存图片 for src in img: src = auto_completion(src) file_path = save_image(src) if file_path == False: print('请求的图片路径出错,url地址为:%s'%src) else : print('保存图片的地址为:%s'%file_path) except requests.exceptions.ConnectionError as