爬取街拍美图（注意：以下长文预警）
成品展示
下图是街拍美图保存到本地的电脑截图。
下图是程序运行时的截图。
需求分析
首先，打开头条的街拍页面，我在不断的往下滑动，页面一直有新的标签刷出来，不过页面的 url 斌并没有变化，所以我猜测这是通过ajax加载的。如下图所示。
上面，我画了三个圈，分别表示三种类型。第一种是点进去之后，必须得通过点击才能看到下一张图片；第二钟是点进去之后，直接往下滑动就可以看到全部的图片，第三种是视频，不在本篇博文的讨论范围。第一和第二种类型都是通过JavaScript加载的页面。
获取索引页
通过查看多个ajxa请求之后，发现只有offset是变化的，并且变化规律很明显。还有，keyword参数其实就是搜索的关键字。
def get_index_page(offset, keyword):
params = {
'offset': offset,
'format': 'json',
'keyword': keyword,
'autoload': 'true',
'count': '20',
'cur_tab': '1',
'from': 'search_tab',
'pd': 'synthesis'
}
base_url = 'https://www.toutiao.com/api/search/content/?'
url = base_url + urlencode(params)
try:
response = requests.get(url=url, headers=headers)
if response.status_code == codes.ok:
print(url + ':导航页请求成功！')
return response.text
except requests.ConnectionError:
print('请求导航页失败！')
return None
我把参数放在一个字典中，然后用urlencode函数封装属性。然后，拼接两个字符串。
解析索引页内容
分析ajax请求的返回结果，拿到详情页的url。在这里，我发现每个data里面的第一项里面都含有key为cell_type的键值对，而且这个选项没有url，所以这里有两行去除的语句。函数返回的是详情页的url列表。
def parse_index_page(html):
data = json.loads(html)
if data and 'data' in data.keys():
for item in data.get('data'):
if item.get('cell_type') is not None:
continue
yield item.get('article_url')
根据索引页的url获取详情页
根据URL的链接，逐个请求详情页，并返回详情页的内容。
def get_detail_page(url):
try:
response = requests.get(url=url, headers=headers)
if response.status_code == 200:
print(url + ':详情页请求成功！')
return response.text
else:
return None
except RequestException:
print('请求详情页错误', url)
return None
解析详情页的内容
通过查看详情页返回的内容可以发现，详情页都是通过JavaScript加载的，而且有三种类型，在下面的函数中，我对其中的两种做了提取工作。第三种没有理会，因为它是视频，不在讨论范围内。
def parse_detail_page(html, url):
try:
soup = BeautifulSoup(html, 'lxml')
title = soup.select('title')[0].get_text() # 获取文章title
images_pattern_1 = re.compile('gallery: JSON.parse\("(.*?)"\)', re.S) # 匹配模式
result_1 = re.search(images_pattern_1, html) # 匹配内容
images_pattern_2 = re.compile('img src="(.*?)"', re.S)
result_2 = re.findall(images_pattern_2, html)
if result_1: # 第一种网页：点击才能跳转图片
str = re.sub(r'(\\)', '', result_1.group(1)) # 去掉url链接中多余的双斜线“\\”
if str: # 如果匹配到内容，执行接下来的操作
data = json.loads(str)
if data and 'sub_images' in data.keys():
sub_images = data.get('sub_images')
images = [item.get('url') for item in sub_images] # 提取sub_images中图片的url链接
yield {
'title': title, # 详情页标题
'url': url, # 详情页链接
'images': images # 图片链接
}
elif result_2: # 第二种网页： 往下滑动就能看到全部图片
# reulut_2返回的就是一个列表
yield {
'title': title, # 详情页标题
'url': url, # 详情页链接
'images': result_2 # 图片链接
}
except:
return None # 跳过异常继续执行
下载图片（下载+存图）
通过URL下载图片，并把二进制文件传到保存图片的函数中。
def download_img(image_url):
print('正在下载:', image_url)
try:
response = requests.get(image_url, headers=headers)
if response.status_code == 200:
save_to_local_file(response.content)
else:
return None
except RequestException:
print('下载图片错误:', image_url)
return None
存储图片方法
把图片保存到当前文件夹的img文件夹中。
def save_to_local_file(content):
img_path = 'img'
if not os.path.exists(img_path):
os.makedirs(img_path)
file_path = img_path + os.path.sep + '{file_name}.{file_suffix}'.format(
file_name=md5(content).hexdigest(),
file_suffix='jpg')
with open(file_path, 'wb') as f:
f.write(content)
定义主函数，调用之前的方法
定义一个mian函数，调度上面的所有函数。
def main(offset):
html = get_index_page(offset=offset, keyword=keyword)
for url in parse_index_page(html): # 返回的是一个迭代器，每次输出一个网址
html = get_detail_page(url)
if html:
result = parse_detail_page(html, url) # 传入详情页链接、详情页内容，进行解析
print(result)
for item in parse_detail_page(html, url):
image_list = item.get('images') # 传入图片链接，下载并保存到本地
for image in image_list:
download_img(image)
只运行本文件中的主函数
这里是程序的入口，在这里建立了一个进程池，加快爬取的效率。
if __name__ == '__main__':
groups = [i * 20 for i in list(range(GROUP_START, GROUP_END))]
pool = Pool() # 创建进程池
pool.map(main, groups)
pool.close()
pool.join()
全局变量的设置
设置全局变量的意义是实现程序的可配置性。虽然不是全部可配置，但是也算是使得代码更加灵活了以及可重用性更加高了。我在这里设置了偏移量和请求头。
offset = '0'
keyword = '街拍图片'
GROUP_START = 1
GROUP_END = 20
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)",
"Referer": "https://www.toutiao.com/"
}
总结和提高
这次的爬取代码，我利用课余的时间写了两天，最主要的时间都是耗在程序的架构以及提取上面了。我对正则表达式的掌握程度还不够，不能够熟练的运用。
接下来，我要改进一下保存图片写方式，比如说吧=把图片的链接存储到MySQL数据中，以及在本地保存时要按照每一个详情页一个文件夹这样分开存储，方便我查看图片。
完整代码
__author__ = 'Py.ziMing'
import json
import os
import re
from hashlib import md5
from multiprocessing.pool import Pool
from urllib.parse import urlencode
import requests
from bs4 import BeautifulSoup
from requests import codes, RequestException
offset = '0'
keyword = '街拍图片'
GROUP_START = 1
GROUP_END = 20
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)",
"Referer": "https://www.toutiao.com/"
}
# 获取索引页：
def get_index_page(offset, keyword):
params = {
'offset': offset,
'format': 'json',
'keyword': keyword,
'autoload': 'true',
'count': '20',
'cur_tab': '1',
'from': 'search_tab',
'pd': 'synthesis'
}
base_url = 'https://www.toutiao.com/api/search/content/?'
url = base_url + urlencode(params)
try:
response = requests.get(url=url, headers=headers)
if response.status_code == codes.ok:
print(url + ':导航页请求成功！')
return response.text
except requests.ConnectionError:
print('请求导航页失败！')
return None
# 解析索引页内容
# 分析ajax请求的返回结果，拿到详情页的url
def parse_index_page(html):
data = json.loads(html)
if data and 'data' in data.keys():
for item in data.get('data'):
if item.get('cell_type') is not None: # 去除没有url的item
continue
yield item.get('article_url')
# 根据索引页的url获取详情页
def get_detail_page(url):
try:
response = requests.get(url=url, headers=headers)
if response.status_code == 200:
print(url + ':详情页请求成功！')
return response.text
else:
return None
except RequestException:
print('请求详情页错误', url)
return None
# 解析详情页的内容
def parse_detail_page(html, url):
try:
soup = BeautifulSoup(html, 'lxml')
title = soup.select('title')[0].get_text() # 获取文章title
images_pattern_1 = re.compile('gallery: JSON.parse\("(.*?)"\)', re.S) # 匹配模式
result_1 = re.search(images_pattern_1, html) # 匹配内容
images_pattern_2 = re.compile('img src="(.*?)"', re.S)
result_2 = re.findall(images_pattern_2, html) # 匹配内容
if result_1: # 第一种网页：点击才能跳转图片
str = re.sub(r'(\\)', '', result_1.group(1)) # 去掉url链接中多余的双斜线“\\”
if str: # 如果匹配到内容，执行接下来的操作
data = json.loads(str)
if data and 'sub_images' in data.keys(): # 确保返回的信息中含有sub_images这个信息
sub_images = data.get('sub_images')
images = [item.get('url') for item in sub_images] # 提取sub_images中图片的url链接
yield {
'title': title, # 详情页标题
'url': url, # 详情页链接
'images': images # 图片链接
}
elif result_2: # 第二种网页： 往下滑动就能看到全部图片
# reulut_2返回的就是一个列表
yield {
'title': title, # 详情页标题
'url': url, # 详情页链接
'images': result_2 # 图片链接
}
except:
return None # 跳过异常继续执行
# 下载图片（下载+存图）
def download_img(image_url):
print('正在下载:', image_url)
try:
response = requests.get(image_url, headers=headers)
if response.status_code == 200:
save_to_local_file(response.content) # content返回二进制内容，图片一般返回content
else:
return None
except RequestException:
print('下载图片错误:', image_url)
return None
# 存储图片方法
def save_to_local_file(content):
img_path = 'img'
if not os.path.exists(img_path):
os.makedirs(img_path)
file_path = img_path + os.path.sep + '{file_name}.{file_suffix}'.format(
file_name=md5(content).hexdigest(),
file_suffix='jpg')
with open(file_path, 'wb') as f:
f.write(content)
# 定义主函数，调用之前的方法
def main(offset):
html = get_index_page(offset=offset, keyword=keyword)
for url in parse_index_page(html): # 返回的是一个迭代器，每次输出一个网址
html = get_detail_page(url)
if html:
result = parse_detail_page(html, url) # 传入详情页链接、详情页内容，进行解析
print(result)
for item in parse_detail_page(html, url):
image_list = item.get('images') # 传入图片链接，下载并保存到本地
for image in image_list:
download_img(image)
# 只运行本文件中的主函数
if __name__ == '__main__':
groups = [i * 20 for i in list(range(GROUP_START, GROUP_END))] # python3 range()不能直接生成列表，需要list一下
pool = Pool() # 创建进程池
pool.map(main, groups) # 第一个参数是函数，第二个参数是一个迭代器，将迭代器中的数字作为参数依次传入函数中
pool.close()
pool.join()
179
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
