Python3 爬取今日头条街拍图片

import json
from _md5 import md5
from multiprocessing.pool import Pool
import re
import os
import pymongo
import requests
from bs4 import BeautifulSoup
from config import *

# 链接mongodb数据库,多进程这里可能会报警告
client = pymongo.MongoClient(MONGO_URL,connect=False)
# 定义一个数据库
db = client[MONGO_DB]

def get_page_list(offset,keyword):
    '''
       获取主页面所有帖子的链接
    '''
    # 请求ajax的一些参数，通过浏览器F12看到的
    params = {
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': '20',
        'cur_tab': 1,
        'from': 'search_tab'
    }
    # from urllib.parse import urlencode  # 用下面这种要import这个
    # url解析自带的，就是把那个参数弄成一个链接,教程用的是下面这种方式把参数和url拼接
    # url = 'https://www.toutiao.com/search_content/?' + urlencode(params)

    url = 'https://www.toutiao.com/search_content'
    try:
        # 我是把参数传入到get请求里面，如果用上面那种，这里的params形参就要删掉
        response = requests.get(url,headers = HE