Scrapy实战：爬取知乎用户信息

思路：从一个用户（本例为“张佳玮”）出发，来爬取其粉丝，进而爬取其粉丝的粉丝…

先来观察网页结构：

审查元素：

可以看到用户“关注的人”等信息在网页中用json格式保存在data中。
当把鼠标移到列表中的某个名字上时，可以看到浏览器产生了一个Ajax请求：

请求的url后面加上了很长的一串查询字符串。
并且json中也请求了许多详细的信息。

这与该用户的主页基本是对应的：

实战

我们先在命令行中新建一个项目：

scrapy startproject zhihuuser

然后直接在pycharm中打开，接着在settings里面找到OBOTSTXT_OBEY = True把它修改为false：

这样做的目的是我们不遵循tobots协议，以免在访问某些网址时失效。
接下来创建一个zhihu的spider：

scrapy genspider zhihu www.zhihu.com

然后直接运行，发现状态码为400：

这是因为知乎加了user-agent识别，如果请求不是从浏览器发出那么就会返回非正常的状态码。
我们在settings中将DEFAULT_REQUEST_HEADERS解除注释并加上user-agent：


这是再运行爬虫返回的就是200状态码了。
接下来修改爬虫代码，完成“初始请求”的实现。

初始请求

先试验一下根据两个接口是否能返回正确的信息，一个是个人信息的接口，一个是关注列表

我们把某个用户的个人信息的url贴过来：

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Spider,Request


class ZhihuSpider(scrapy.Spider):
    name = 'zhihu'
    allowed_domains = ['www.zhihu.com']
    start_urls = ['http://www.zhihu.com/']

    def start_requests(self):
        url = 'https://www.zhihu.com/api/v4/members/han-qing?include=allow_message%2Cis_followed%2Cis_following%2Cis_org%2Cis_blocking%2Cemployments%2Canswer_count%2Cfollower_count%2Carticles_count%2Cgender%2Cbadge%5B%3F(type%3Dbest_answerer)%5D.topics'
        yield Request(url, callback=self.parse)

    def parse(self, response):
        print(response.text)

运行，可以看到打印出来的是一个列表。

我们再把url换成该用户的关注列表：

用这个url替换上面的那个再次试验：


这回打印的是json格式。这说明以上两个接口（用户详细信息，用户关注信息）都能被爬虫正常请求。

持续请求

接下来进行完善，我们需要对url进行改写，

如图，url的limit表示返回的信息数量为20个，offset表示偏移值（,若limit为20，60就是第4页，通过这两个变量可以完成分页的操作），现在我们要做的是动态构造url，把其中的变量替换一下就好了。

在每个用户信息页面有一个url_token，我们可以将这个设为变量，在关注列表里面获取这个token然后组成新的url，形成一个递归的关系：

现在我们改写user_url：

user_url = 'https://www.zhihu.com/api/v4/members/{user}?include={include}'

将url_token作为变量“user”,查询语句作为变量“incluede”，也就是下面的user_query，可以到审查中复制：