知乎爬虫|既然所有的生命都要死亡，那么生命的意义是什么？

最近刷抖音的时候看到了一个网上爆火的话题

’既然所有的生命都要死亡，那么生命的意义是什么？‘

2000万浏览，近8万个回答。结果下方的评论让我大感意外

没有意义，只是为了活着.... 

似乎所有人都很悲观、厌世

所以今天我们就使用python爬虫来获取知乎这一话题下的所有评论信息，看看大家都是如何看待这一问题的？

目标获取

关于scrapy概念讲的我嘴都麻了，估计大家看得也快烦死了，

直接进入主题吧!

直接创建scrapy项目创建完成结构如下：

 

需求分析

我们的目标很简单，抓取知乎该话题下的所有评论、作者、首页

评论点赞数和评论时间并将其保存做可视化分析

网页分析

F12点击查看网页源码，所有评论信息如下：都在一个名为data的数据文件中存储。

所以第一步我们需要先获取该文件从而获取我们所需信息

item定义

上面已经分析出我们的5个需求，我们在items.py中定义如下：

   # 作者首页
    photo = scrapy.Field()

    # 作者名称
    name = scrapy.Field()

    # 评论时间
    cmt_time = scrapy.Field()

    # 评论点赞数
    stars = scrapy.Field()

    # 评论内容
    comments = scrapy.Field()

发送请求

找到网页请求的真实链接，如下：

然后我们使用scrapy在spider_zhihu.py文件中发送请求

为了防止被网站反爬，我们加上headers。

 def parse(self, response):
      zhihu_data = response.json()
      ic(zhihu_data)

可以看到，我们已经成功的获取到了该json格式数据集

但是我们的数据是存储在data列表中的，所以我么还需进一步获取到data列表才能获取到目标数据

 for zh in zhihu:
    # 作者名称
    item['name'] = zh['author']['member']['name']

    # 作者座右铭
    item['motto'] = zh['author']['member']['headline']

    # 评论时间
    cmt_time = zh['created_time']
    item['cmt_time'] = time.strftime('%Y-%m-%d %H:%M', time.localtime(cmt_time))

    # 评论点赞数
    item['stars'] = zh['vote_count']

    # 评论内容
    item['comments'] = zh['content']
    
    '''
    沉吟  如果把一生分成两半，那么前半段一定是“不犹豫”，后半段一定是“不后悔”。  2021-09-21 20:06      0                        生命本来没有意义，但总有一些事和一些人让它变得有意义。
    梅莺苗刀                                 一个悟家。  2021-11-13 23:43      0  这可能是最正的一个回答，请列位耐心看完<br><br>如果死亡没有意义，那么活着能有什么意义...
    嘿 小家伙                                快乐不期而至  2021-02-04 00:53      0                                               延长生命
    小羅                 KeepFit健身工作室创始人自律即自由！  2018-09-01 10:07      1                                     死了不是你另一种活着的方式吗
    看着办                                不知道说什么  2021-01-05 13:17      0                                          就是你不想死的意义
    '''

需求现在已经实现，我们现在要做的就是将数据抛给pipeline，让他自行去下载，这一步scrapy已经写好了，我们只需打开开关即可

ITEM_PIPELINES = {
    'zhihu.pipelines.ZhihuPipeline': 300,
}

多页获取

我们提取多页链接如下观察规律：

https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=0&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=10&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=20&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=20&order=normal&status=open
https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset=40&order=normal&status=open

每页数据展示数目由limit=10控制；翻页参数由page控制。

所以我们多页链接构造如下：

url = f'https://www.zhihu.com/api/v4/questions/288017836/root_comments?limit=10&offset={(page-1)*10}&order=normal&status=open'

数据下载

我们还是使用openpyxl将数据下载到Excel中然后做数据分析。

wb = Workbook()
ws = self.wb.active
ws.append(['作者首页', '作者名称', '评论时间', '点赞人数', '评论内容'])
line = [item['photo'], item['name'], item['cmt_time'], item['stars'], item['comments']]
ws.append(line)
wb.save('../知乎.xlsx')

数据抓取成功部分展示如下：

 

数据清洗

接下来我们使用pandas对获取到的数据进行去重和去空等处理

pd.set_option('display.max_columns', None)   # 显示完整的列
pd.set_option('display.max_rows', None)  # 显示完整的行
pd.set_option('display.expand_frame_repr', False)  # 设置不折叠数据

# 读取数据
rcv_data = pd.read_excel('../知乎.xlsx')

# 删除重复记录和缺失值
rcv_data = rcv_data.drop_duplicates()
rcv_data = rcv_data.dropna()

# 抽样展示
print(rcv_data.sample(5))

'''
138  看前面一条狗               无聊不  2021-03-01 14:18      0                                   意义不就在于你活着的这个过程吗？
150  微笑面对人参  有些鸟儿是注定不会被关在牢笼里的  2021-06-12 10:28      0                                        根本没空思考这样的问题
352      优秀          十年营养护肤导师  2020-12-14 19:25      0              生命是在于你自己去寻找发现它的意义，如果你觉得毫无意义，那它就是毫无意义的
161     Ani                营销  2021-02-28 19:56      0                                 2021年了我还是没有想到问题的答案
294     喵姐姐               设计师  2021-01-04 20:15      0  就像稍纵即逝的烟火，虽然只是一瞬间，但是它存在过，生命的意义就在于当某个瞬间回顾自己的过去时...
'''

词云展示

我们使用stylecloud来绘图，部分代码如下：

有兴趣的小伙伴可以参考：

如何使用python实现一个优雅的词云？（超详细）

def visual_ciyun():
    pic = '../img.jpg'
    gen_stylecloud(text=result,
                   icon_name='fab fa-android',
                   font_path='msyh.ttc',
                   background_color='white',
                   output_name=pic,
                   custom_stopwords=stop_words
                   )
    print('词云图绘制成功！')

 

知乎词频图

这里我们使用熊猫来读取数据,并去除空行。使用jieba制作分词

有兴趣的小伙伴可以参考

让人无法拒绝的pandas技巧，简单却好用到爆！

知乎评论出现频率最高的前十个词分别如下:

all_words = [word for word in result.split(' ') if len(word) > 1 and word not in stop_words]
wordcount = Counter(all_words).most_common(10)

x1_data, y1_data = list(zip(*wordcount))
print(x1_data)
print(y1_data)

'''
('意义', '生命', '活着', '没有', '自己', '死亡', '问题', '我们', '存在', '如果')
(116, 76, 59, 38, 27, 25, 24, 17, 16, 13)
'''

词频气泡图

评论点赞最多

我们将所有评论按照点赞量从大到小排列如下：

评论时间

从时间轴可以分析出，这个问题在2018/08/02 14:26关注度达到了顶峰，

2018/08/03 01：51关注度随着时间推移开始下降

评论内容

前三评论如下：

我不喜欢整理床铺，我妈骂我，我说：反正要搞乱为啥要整理，我妈：你反正要饿，为啥要吃饭

这是个很有意义的问题，想了几年了，我还是没有很好的答案

活着只是为了活着，不为了任何别的

情感分析

我们以点赞最多评论为例分析观众对知乎的一些看法进行简单分析

我们是使用的库是SnowNLP

SnowNLP是一个基于Python的情感分析工具库，可以进行中文分词、词性标注、情感分析、文本分类、文本关键词提取等。

SnowNLP的情感值取值范围为0到1之间，值越大，说明情感倾向越积极。

pinglun = '活着只是为了活着，不为了任何别的'

Sentiment_analysis = SnowNLP(pinglun).sentiments
print(Sentiment_analysis)

'''
0.5941963504212545
'''