# 爬虫三部曲
# 1.发送请求
def get_page(url):
# 添加请求头信息
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Referer': 'http://www.netbian.com/',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36',
}
response = requests.get(url=url, headers=headers)
# print(response.status_code)
# 由于页面的字符编码是gbk,所以需要转为为gbk,否则乱码
#
response.encoding = 'gbk'
if response.status_code == 200:
return response
# 2.解析数据
def parse_index(text):
# 通过 正则表达式 解析数据,并提取 图片url
#
image_url_list = re.findall('
# print('删除前: ', image_url_list)
# 如果广告图片存在,则删除
if 'http://img.netbian.com/file/2018/1218/5174f6bd57412ee0d66bcff52629cf5e.jpg' in image_url_list:
# 删除列表中的广告图片
image_url_list.remove('http://img.netbian.com/file/2018/1218/5174f6bd57412ee0d66bcff52629cf5e.jpg')
# 如果广告图片存在,则删除
if 'http://img.netbian.com/file/2018/1218/2c953b94fcb487c210cb8816f7146148.jpg' in image_url_list:
# 删除列表中的广告图片
image_url_list.remove('http://img.netbian.com/file/2018/1218/2c953b94fcb487c210cb8816f7146148.jpg')
if 'http://img.netbian.com/file/2019/0304/d7718c988ae353a6531742bb92d97e91.jpg' in image_url_list:
image_url_list.remove('http://img.netbian.com/file/2019/0304/d7718c988ae353a6531742bb92d97e91.jpg')
# print('删除前: ', image_url_list)
return image_url_list
# 3.保存数据
def save_image(number, image_url):
''':param number: 图片的张数:param image_url: 图片的url地址:return:'''
# 1) 对图片url地址发送请求,获取二进制流数据
response = get_page(image_url)
# 2) 拼接图片的存放地址,以图片张数作为图片名
# 注意: 以下过程是自动创建 images 文件夹,用于存放图片文件
# 获取当前执行文件的所在文件夹目录
file_dir = os.path.dirname(__file__)
# 拼接images图片存放文件夹路径
images_dir = os.path.join(file_dir, 'images')
# 判断文件夹是否存在,若不存在则创建
if not os.path.exists(images_dir):
os.mkdir(images_dir)
# 拼接图片的存放路径
image_path = os.path.join(images_dir, '%s.jpg' % number)
# 3) 打开文件,将二进制流数据写入文件中
with open(image_path, 'wb') as f:
f.write(response.content)
print('第 [%s] 张图片下载完成......' % number)
# 用于表示第几张图片的数
number = 1
# 1) 分析图片页面的规律,然后进行拼接
for line in range(1, 1314):
# 2) 拼接每一个图片页
url = 'http://www.netbian.com/index_%s.htm' % line
# 判断如果是第一页,就固定一个第一页的url地址
if line == 1:
url = 'http://www.netbian.com/index.htm'
# print(url)
# 3) 对每一个 "图片页url" 地址发送请求,获取图片
response = get_page(url)
print('=' * 50, '第 [%s] 页' % line, '=' * 50)
# print(response.text)
# 4) 开始解析图片url与图片名字
image_url_list = parse_index(response.text)
# 对图片url列表地址 循环 遍历 取出
for image_url in image_url_list:
# 5) 每张图片的存放地址都获取到了,可以对图片数据的地址发送请求并保存
save_image(number, image_url)
number += 1