用python爬取今日头条上的图片_Python 爬虫爬取今日头条街拍上的图片

# 今日头条--街拍

import requests

from urllib.parse import urlencode

import os

from hashlib import md5

from multiprocessing.pool import Pool

# 根据 offset 得到每一个 ajax 请求返回的 json

def get_json(offset):

base_url = 'https://www.toutiao.com/search_content/?'

params = {

'offset': offset,

'format': 'json',

'keyword': '街拍',

'autoload': 'true',

'count': '20',

'cur_tab': '1',

'from': 'search_tab',

'pd': 'synthesis'

}

url = base_url + urlencode(params)

try:

response = requests.get(url)

if response.status_code == 200:

return response.json()

except requests.ConnectionError as e:

print('Errors', e.args)

return None

# 根据 josn 提取出相应内容的标题、图片链接

def get_images(json):

if json.get('data'):

for item in json.get('data'):

if item.get('cell_type') is not None:

continue

title = item.get('title')

images = item.get('image_list')

for image in images:

yield {

'title': title,

#获取大图片

'image': image.get('url').replace('list', 'large').replace('//', 'Https://')

}

# 根据 item 中的 title 创建文件夹，图片的名称可以用其内容的 MD5 值，防止重复

# 这里有个小问题，那就是在 windows 路径下创建文件夹是不可以有英文的':'，这些标题大多是中文符号，但是偶尔也会含有

# 英文的':',这样会导致创建文件夹失败，所以要将windows下不允许的英文符号(\/:*?"<>|)转换成相应的中文标点

def save_images(item):

title = item.get('title')

intab = r'\/:*?"<>|'

outtab = '、、：-？“《》-'

trantab = str.maketrans(intab, outtab)

# 将windows下不允许的英文符号(\/:*?"<>|)转换成相应的中文标点

title = title.translate(trantab)

if not os.path.exists(title):

os.mkdir(title)

try:

response = requests.get(item.get('image'))

if response.status_code == 200:

file_path = '{0}/{1}.{2}'.format(title, md5(response.content).hexdigest(), 'jpg')

if not os.path.exists(file_path):

with open(file_path, 'wb') as f:

f.write(response.content)

else:

print('Already Downloaded', file_path)

except requests.ConnectionError:

print('Failed to save image')

def main(offset):

json = get_json(offset)

for item in get_images(json):

print(item)

save_images(item)

# 定义开始页数

GROUP_START = 1

# 定义结束页数

GROUP_END = 5

if __name__ == '__main__':

pool = Pool()

offsets = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])

# 利用多线程的线程池的map方法下载图片

pool.map(main, offsets)

pool.close()

pool.join()