从零开始：python实现爬取知乎热榜（随缘更新完善）

• 获取URL
• 获取HTML
• 解析HTML

获取URL

首先要知道URL是什么：
URL: Uniform Resource Identifier，即统一资源标识符。
URL: Uniform Resource Locator，即统一资源定位符。
平常基本用的都是URL，平常访问的网址链接都可以理解为URL。 例如https://www.baidu.com，就是你想要去访问的网页。当然你要访问的更详细的，例如本文的知乎热榜：https://www.zhihu.com/hot

获取HTML

HTML称为超文本标记语言，是一种标识性的语言。也就是访问网页得到的数据，都存放在HTML中，CSS，JS可以去了解一下。
有了URL，直接用python取访问是可能会被封IP的，所以就要用python来模拟浏览器取访问这些网页，这时就需要用到user-agent和cookie。user-agent存放的是浏览器的版本，cookie用来保持登陆之后连续访问多次网站而不需要反复登录。邮件检查或者是f12，在Network选项卡下面的众多记录中随便点进去，找到user-agent和cookie，


后面需要的时候复制下来（cookie是经常更新的）。

原材料就足够了，现在需要进行烹饪了。

requests

通过以上的原材料来获取HTML，就需要用到 requests 包

pip install requests

安装成功后就可以进行编码了。

import requests
url = 'https://www.zhihu.com/hot'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36',
    'cookie':"""cookie要用自己的并且经常要更新"""
}
response = requests.get(url,headers=headers)
if response.status_code == 200:
    html = response.text
print(html)

首先要将之前的原料放到一个名为headers的字典里面，然后通过requests 的 get() 函数来获取到URL的内容。通过if语句来判断访问是否成功，状态码为200代表访问成功。但是访问返回的数据是HTML类型的，通过 .text 转化为文本格式。这样就获得了知乎热榜的内容，仔细观察就能看到热榜的问题在此之中，然后下一步就可以进行内容的提取了。

解析HTML

此次的解析库我使用的是较为普遍的 XPath，稍后有时间再更新其他方法。
XPath 提供了非常简洁明了的路径选择表达式，超过100个内建函数，几乎可以定位所有想要的节点。
基础的XPath常用规则：

表达式	描述
nodename	选取此节点的所有子节点
/	从当前节点选取直接子节点
//	从当前节点选取子孙节点
.	选取当前节点
…	选取当前节点的父节点
@	选取属性

示例如下：

//title[@lang='eng']

这就是一个XPath规则，代表选择所有名称为title，同时属性lang的值为eng 的节点。
后面会通过python的lxml库，利用XPath进行HTML解析。

准备工作

pip install lxml

就这篇博客的目的来讲，这里只说一下获取知乎热榜的问题所需要的东西。仔细观察之前获取到的HTML，然后就会发现，知乎热榜的问题，都存放在h2。这里建议从开发者模式中依次寻找，找到对应的标题所对应的具体的HTML，因为一个标题会对应很多的相同的字符，在HTML中，这里我找到的实在 h2 中（后续知乎可能会更新，我看过很多的代码，再次自己实现，就会有很多问题，找不到之类的，建议自己实际再找一遍）。

然后就可以根据自己需要的节点来进行定位，获取数据。
首先要进行的准备工作就是：

from lxml import etree

这里先导入lxml库的etree模块，然后调用HTML类进行初始化，这样就构造了一个XPath解析对象，etree 可以自动修正HTML，比如某些节点没有闭合。但是调用tostring之后输出的修正后的HTML代码，结果是bytes类型的，这里可以利用decode()方法将其转化为str类型。示例如下：

from lxml import etree
html = etree.HTML(html)
result = etree.tostring(html)
print(result.decode('utf-8'))
results = html.xpath('//h2/text()')

这里就可以得到知乎热榜的问题了。

当然，可以遍历输出，之后的就是字符串操作的范畴了。
附完整代码：

import requests
from pyquery import PyQuery as pq
from lxml import etree

url = 'https://www.zhihu.com/hot'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36',
    'cookie':"""写自己的，很重要"""
}
response = requests.get(url,headers=headers)
if response.status_code == 200:
    html = response.text
print(html)
html = etree.HTML(html)
result = etree.tostring(html)
print(result.decode('utf-8'))
results = html.xpath('//h2/text()')
count = 0
for result in results:
    print(result)
    count += 1
print(count)

有关解析库XPath的学习可以参考我的另一篇文章：XPath解析库的学习。

2019.10.21更新

对于之前获取到的知乎热榜的问题，我又进行了下一步的更新，这次更新的结果是，将知乎热榜的内容进行了全部爬取，爬取过程变得简单，但是由于个人比较愚笨，花了较长时间对内容进行了优化，结果是将50个问题按照每个问题为划分，一个问题为一个列表，50个问题又组成了一个列表，以便后续的数据分析，结果展示：

[[问题1],[问题2],[问题3],[问题4],[问题5],[问题6]...]

另外我将函数进行了封装，阅读性更强。
由于知乎热榜的每个问题的内容不同，有的有问题简介，有的没有，所以比较乱，当然可以按照其他方式进行分割，我这里使用的是索引方式。（提示：我这里爬取到的结果每个问题都是不同的，但是每个问题开头都是数字，结尾都是“分享”，可以从这里入手，但是我试了几次失败了，如果哪位大神解决了这个问题，可以给我一些建议。

1. 获取网页内容
2. 获取索引
3. 处理结果

我分为了以上三部分，总结代码如下：

# -*- coding: utf-8 -*-
# @Time : 2019-10-11 9:35
# @Author : Ru
import requests
from lxml import etree

def get_content(url,headers):
    """
    根据url,headers来获取网页内容
    :param url:
    :param headers:
    :return:content
    """
    response = requests.get(url,headers=headers)
    if response.status_code == 200:
        html = response.text
    html = etree.HTML(html)
    content = html.xpath('//section//text()')
    return content

def get_index(content):
    """
    获取索引
    :param content:
    :return:index_list
    """
    index_list = []
    for i in range(1,51):
        i = str(i)
        index_list.append(content.index(i))
        return index_list

def return_result(content,index_list):
    """
    处理结果
    :param content:
    :param index_list:
    :return:result
    """
    result = []
    for num in range(60):
    #60是因为循环的次数要大于50或者是51，具体哪个我也不清楚，就索性60简单些
        for i in range(len(index_list)):
            pri_lsit = []
            a = index_list[i]
            if index_list[i] == index_list[-1]:
                b = len(content)
            else:
                b = index_list[i + 1]
            for i in range(a, b):
                pri_lsit.append(content[i])
            # print(pri_lsit)
            result.append(pri_lsit)
    print(result)
    return result

if __name__ == '__main__':
    url = 'https://www.zhihu.com/hot'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36',
        'cookie': """还是注意一点，cookie要用自己的，这一点很重要"""
    }
    content = get_content(url,headers)
    index_list = get_index(content)
    return_result(content,index_list)

结果展示：