多线程爬取知乎答案中的高清图片（知乎钓鱼图片真的很多，，，，)，使用jupyter可以直接运行

'''需要用到的'''
import requests
import re
import json
import time
from multiprocessing.dummy import Pool
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64',
'sec-ch-ua': '" Not;A Brand";v="99", "Microsoft Edge";v="91", "Chromium";v="91"'}
begin = 0在这里插入代码片
'''获取图片url并存入json文件'''
fp = open('you yi ge piao liang de mei mei.json', 'a', encoding = 'utf-8')
while 1:
    offset = 20 * begin
    url = f'https://www.zhihu.com/api/v4/questions/28152313/answers?include=data%2Ccontent&limit=20&offset={offset}'
    '''这个网址就是随便打开一个问题，然后打开调试模式（F12>F5刷新>调试模式里面的网络>XHR>然后滚动鼠标让页面多加载几个回答，知乎默认五个回答会请求一次XHR文件，然后你就会看到一个名为answer，，，，的XHR，是json格式，我们在构建url的时候，把知乎默认的5个answer一次xhr改为20，即limit=20(再大好像出错)，然后offset即偏移量，我们从0开始，然后加载了0-19共20个回答，下一次加载就需要跳过这20个，offset=20，以此类推'''
    begin += 1
    r = requests.get(url,headers=headers)
    r.encoding = 'utf8'
    data = r.json()['data']
    if not data:
        break
    for data_ in data:
        res = data_['content']
        try:
            pic_url = re.findall("<noscript>.*?original=\"(.*?)\?.*?</noscript>",res)
           '''感觉re正则表达式非常强大，有了它就可以舍弃bs4，xpath等等之类的，这里的代码采用了非贪婪模式，因为每个回答有很多的图片，所以有很多的<noscript>，，，</noscript>，非贪婪模式就只会匹配最先遇到的。这行代码里面的\是转义字符，表示其后面的那个字符不具有特俗含义了，就是个普通字符了'''
            for url in pic_url:
                fp.write(json.dumps(url)+'\n')
        except:
            continue
fp.close()
'''多线程下载图片'''
def f(url):
    data = requests.get(url,headers = headers)
    with open(f'H:/zhihu_answer/'+re.findall('.*/(.*)',url)[0],'wb') as dd:
        dd.write(data.content)

if __name__ == "__main__":
    pool = Pool(processes=10)
    '''python自带的multiprocessing多进程库其中.dummy是用threading写的包含multiprocessing库中各种函数的多线程库，也就是说俩函数一样，就是一个是多进程一个多线程，多线程的应用不需要再去使用threading库去构造了，人家已经给你封装好了。但是切记，多线程多进程一定要在if __name__ == "__main__":下运行，不然会报错'''
    with open('mei mei.json', 'r', encoding = 'utf-8') as fp:
        url_list = fp.readlines()
        for url_ in url_list:
            url = json.loads(url_)
            pool.apply_async(f,(url,))
    pool.close()
    pool.join()