爬虫之爬取知乎下某个问题下的全部图片（处理AJAX请求，解析json数据）

（直接需要代码的看最后面，前面只是分析）  

当你查看知乎某个问题的答案时，通过普通的方法爬取页面，你发现只能爬取一页的内容，当你点击下一页时，浏览器地址并没有发生变化，这种技术叫做AJAX，每次载入的只是部分数据，当知道这个后，就可以构造特殊的头部来请求获得数据。

知乎问题下的解析：

可以看到请求页面的方式GET，请求的地址为Request URL，请求头的构成为Request Header的内容，有点长是不是。

Request Header：

还有一个就是Query String Parameters

 

这是什么呢，这就是我们Request URL的请求的数据部分了，他是怎么区分页面的呢，我们看第二页的请求数据

两者不同的是 offset这个值，而知乎一个页面的回答数量刚好是20，也就是差值。

到这里我们就可以知道怎么样获取我们请求的数据了：

用GET方法向指定URL发送我们的请求数据

下面是代码实现：

import urllib.request
import json
import urllib.parse
import re
import random
n=0
for i in range(0,10):                                                                           #爬取十页的回答的图片
    url='https://www.zhihu.com/api/v4/questions/27761934/answers?'                      #请求URL地址
    data={}
    head={}
    #head为请求头部封装
    head['User-Agent']='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
    head['accept']='application/json, text/plain, */*'
    # head['Accept-Encoding']='utf-8, deflate, sdch, br'
    head['Accept-Language']='zh-CN,zh;q=0.8'
    head['Referer']='https://www.zhihu.com/question/27761934'
    head['authorization']='oauth c3cef7c66a1843f8b3a9e6a1e3160e20'
    head['Connection']='keep-alive'
    head['host']='www.zhihu.com'
    head['Cookie']='q_c1=cb235bc32c3c4ff6a13d539ab32932ed|1491640993000|1491640993000;' \
                   ' r_cap_id="OTk4MDc1ZTYzZTYxNDhkMGFkZmMzZmMyY2MzYTQ0MWM=|1492689948|ea65e09abdd21db7eecd997d1e7689d7213005c8"; ' \
                   'cap_id="ZWY2NDA1MTc3ZjAzNDc2MWFmNTQ4YjFkY2NhNzdmZjM=|1492689948|16df8cfc942dcae5adc9ffa5395afbdcc87bf39a";' \
                   ' l_cap_id="ZGNkOGVmZTgzNDk0NGJjOTljMzU0Mjc0MGY2YmU1ODE=|1492689948|2768d12cd0236bb96722f7216b307ba799d4bf19"; ' \
                   'aliyungf_tc=AQAAABxPakPO4goAgVG3PSefHqc6PP2k; acw_tc=AQAAAEUxcRqsHQwAgVG3PZaK3p0hk5Lq'
    #data为数据部分
    data['sort_by']='default'
    data['include']='data[*].is_normal,is_sticky,collapsed_by,suggest_edit,comment_count,' \
                    'can_comment,content,editable_content,voteup_count,reshipment_settings,' \
                    'comment_permission,mark_infos,created_time,updated_time,' \
                    'relationship.is_authorized,is_author,voting,is_thanked,is_nothelp,' \
                    'upvoted_followees;data[*].author.badge[?(type=best_answerer)].topics'
    data['limit']=20
    data['offset']=3+20*i

    data=urllib.parse.urlencode(data).encode('utf-8')
    req=urllib.request.Request(url,data,head,method='GET')
    #需指定方法，默认是为POST的
    req = urllib.request.urlopen(req)
    re_data = req.read().decode('gbk')
    print(re_data)
    pe='https:.{0,80}jpg'                                                   #构造的正则，有点丑陋。。。
    url1=re.compile(pe)
    num=0

    q=random.randint(1,20)
    for x in url1.findall(re_data):
        if 'https'  in x:
            print(x)
            try:
                if(num%4==0):
                    urllib.request.urlretrieve(x, 'F:\\ccc3\\test\\mmmmmm'+str(q)+'%s.jpg' % num)
                    print('下载第'+str(n) + '张图片')
                    n+=1
            except:print('error')
            num +=1














其中head的cookie，host，connection等都是可以省略的。

已知缺陷：json里同一个链接出现四次，我用num处理的有点难看

有最大爬取数，不超过一千，可以用ip池解决

正则丑陋。

爬取别的问题需要修改的是URL里的数字及head['Referer']里的数字,数字为问题的代码,代码为:



里面的数字,如果代码不能运行请修改cookie和authorization为自己的.

如还不能运行,评论或者私信我