今日头条街拍，又到养眼的季节

最新推荐文章于 2021-03-17 01:01:52 发布

痴海

最新推荐文章于 2021-03-17 01:01:52 发布

阅读量504

点赞数

本文链接：https://blog.csdn.net/qq_33570092/article/details/102920937

版权

640

街拍

拍是一种源于欧美国家的文化，最早是源于时尚杂志的需求，用相机捕捉街上的时尚元素，还要传递来自民间的流行信息，于是所谓“街头秀”就应运而生。

一般来说，一次专业的街拍，必须捕捉到被拍者衣服的细节.搭配和牌子。如今“街拍”活动正逐步成为国内年轻人一项新的街头文化活动。

临近夏天，人们逐渐穿的凉快起来，街上也越来越多的美女，帅哥。如果你去今日头条搜索街拍，你会看到非常有养眼的图片。今天就教大家如何爬取今日头条街拍的图片。

640

今日头条街拍爬取思路

爬取路径 url

在 Chrome 浏览器上，我们先进入今日头条的官网，在搜索栏上输入街拍，就会显示很多街拍的图片。我们按 F12 在开发者工具中进行具体的分析。

640

今日头条的数据是用 json 来请求的，所以我们在 Network 的 Headers 中可以看到它的请求参数，这部分就是我们需要的请求体中的参数。我们就可以利用 urlencode() 来构造这请求参数。

在代码中我把 offset, keyword 作为函数的参数，这样我们就可以控制抓取的数量和要抓取的内容。

对应的代码：

def get_page(offset, keyword):
data = {
'offset': offset,
'format': 'json',
'keyword': keyword,
'autoload': 'true',
'count': '20',
'cur_tab': '1'
}
params = urlencode(data)
url = 'https://www.toutiao.com/search_content/' + '?' + params
try:
response = requests.get(url)
if response.status_code == 200:
return response.json()
except requests.ConnectionError:
return None

爬取的内容

我们这次的程序主要是抓取图片，所以我们在请求的网页中寻找下是否有我们所要的图片数据。

640

点开 Preview 我们就可以看到有个 data 关键字

640

这里面就有我们需要的图片 url 的数据。其中图片的 url 就保存在 image_list 中。

640

在这里还有我们需要的 title 信息。

对应的代码：

def get_images(json):
data = json.get('data')
if data:
for item in data:
image_list = item.get('image_list')
title = item.get('title')
for image in image_list:
yield {
'image': image.get('url'),
'title': title
}

进行保存

目标 url 和内容我们已初步的分析完，接下来就是把图片下载下来保存到本地文件夹。

对应的代码：

def save_image(item):
if not os.path.exists('{0}/{1}'.format('image', item.get('title'))):
os.mkdir('{0}/{1}'.format('image', item.get('title')))
try:
local_image_url = item.get('image')
new_image_url = local_image_url.replace('list', 'large')
response = requests.get('http:' + new_image_url)
if response.status_code == 200:
file_path = '{0}/{1}/{2}.{3}'.format('image', item.get('title'), hashlib.md5(response.content).hexdigest(), 'jpg')
if not os.path.exists(file_path):
with open(file_path, 'wb') as f:
f.write(response.content)
else:
print('Already Downloaded', file_path)
except requests.ConnectionError:
print('Failed to save image')

输出结果

640

最后在 main 中开启线程，来提高效率。整个程序运行后，会把图片自动以标题分类保存到当前工程目录。

对应代码：

def main(offset):
json = get_page(offset, '街拍')
for item in get_images(json):
print(item)
save_image(item)
if __name__ == '__main__':
pool = Pool()
groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
pool.map(main, groups)
pool.close()
pool.join()