爬取知乎“凡尔赛语录”话题下的所有回答，我知道点开看你的很帅气，但还是没我帅

最新推荐文章于 2024-07-11 20:20:14 发布

世上本无鬼

最新推荐文章于 2024-07-11 20:20:14 发布

阅读量5.5k

点赞数 9

分类专栏：爬虫实战文章标签： Python 爬虫经验分享

本文链接：https://blog.csdn.net/weixin_57577264/article/details/121227694

版权

本文分享了如何使用Python爬虫抓取知乎上‘凡尔赛语录’话题的回答，详细解析了爬取过程，包括获取问题详情和回答内容，涉及网页解析和分页数据获取。最终成功爬取393个答案，并提供了完整代码示例。

摘要由CSDN通过智能技术生成

凡尔赛文学火了。这种特殊的网络文体，常出现在朋友圈或微博，以波澜不惊的口吻，假装不经意地炫富、秀恩爱。
普通的炫耀，无非在社交网络发发跑车照片，或不经意露出名牌包包 logo，但凡尔赛文学还不这么直接。微博博主还专门制作过凡尔赛文学教学视频，讲解其三大精髓要素：
在这里插入图片描述
在豆瓣上，也有一个名叫凡尔赛学研习小组，组员们将凡尔赛定义为一种表演高级人生的精神，好了，进入主题，今天来快速爬取知乎里有关凡尔赛语录有关的回答，开始。

1.爬取的网站

在知乎搜索凡尔赛语录，第二个比较适合，就用这个。

在这里插入图片描述

点进去后可以发现关于这个提问共有 393 个回答。

网址：https://www.zhihu.com/question/429548386/answer/1575062220
在这里插入图片描述

去掉 answer 以及后面的部分就是这个要爬取的问题网址。特别是后面的一串数字是问题 id：https://www.zhihu.com/question/429548386，作为知乎问题的唯一标识。

2.爬取问题有关的回答

研究一下上面的网址，我们发现需要爬取两部分数据：

爬取的详情，包括创建时间、关注人数、浏览量、问题描述等
爬取的回答，包括每个答主的用户名、粉丝数等信息，问题回答的具体内容、发布时间、评论数、点赞数等信息

其中，这个问题详情可以直接爬取上面的网址，通过 bs4 解析页面内容拿到数据，而问题的回答则需要通过下面的链接，通过设置每页的起始下标和页面内容偏移量确定，有点类似于分页内容的爬取。

def init_url(question_id, limit, offset):  
    base_url_start = "https://www.zhihu.com/api/v4/questions/"  
    base_url_end = "/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%2Cis_recognized%2Cpaid_info%2Cpaid_info_content%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit={0}&offset={1}".format(limit, offset)  

    return base_url_start + question_id + base_url_end

设置每页回答数 limit=20，offset 则可以是0、20、40…而 question_id 则是上面提到的网址后面的一串数字，这里是 429548386，逻辑想明白之后就是通过写爬虫获取数据了，下面是完整的爬虫代码，运行的时候你只需要修改问题的 id 即可。

3.完整代码

# 导入相应的库
import json
import re
import time
from datetime import datetime
from time import sleep
import pandas as pd
import numpy as np
import warnings
import requests
from bs4 import BeautifulSoup
import random
import warnings
warnings.filterwarnings('ignore')


def get_ua():
    """
    在UA库中随机选择一个UA
    :return: 返回一个库中的随机UA
    """
    ua_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
        "Opera/8.0 (Windows NT 5.1; U; en)",
        "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
        "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
        "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,

最低0.47元/天解锁文章

世上本无鬼

关注

9
点赞
踩
14

收藏

觉得还不错? 一键收藏
6
评论
爬取知乎“凡尔赛语录”话题下的所有回答，我知道点开看你的很帅气，但还是没我帅

凡尔赛文学火了。这种特殊的网络文体，常出现在朋友圈或微博，以波澜不惊的口吻，假装不经意地炫富、秀恩爱。普通的炫耀，无非在社交网络发发跑车照片，或不经意露出名牌包包 logo，但凡尔赛文学还不这么直接。微博博主还专门制作过凡尔赛文学教学视频，讲解其三大精髓要素：在豆瓣上，也有一个名叫凡尔赛学研习小组，组员们将凡尔赛定义为一种表演高级人生的精神，好了，进入主题，今天来快速爬取知乎里有关凡尔赛语录有关的回答，开始。
复制链接

扫一扫

专栏目录