爬虫实战手把手用Python教你采集&amp；可视化知乎问题的回答（内附代码）_爬取知乎问题的全部回答

最新推荐文章于 2024-09-11 14:27:37 发布

m0_63102527

最新推荐文章于 2024-09-11 14:27:37 发布

阅读量628

点赞数 21

分类专栏：程序员文章标签： python 学习面试

本文链接：https://blog.csdn.net/m0_63102527/article/details/138833804

版权

程序员专栏收录该内容

379 篇文章 6 订阅

订阅专栏

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

设置三个字段，存储到csv。

注意现在只是对某一页面的数据进行的存储。

import csv

csvf = open('zhihu.csv', 'a+', encoding='utf-8', newline='')
fieldnames = ['author', 'id', 'text']
writer = csv.DictWriter(csvf, fieldnames=fieldnames)
writer.writeheader()

for info in resp.json()['data']:
    author = info['author']
    Id = info['id']
    text = info['excerpt']
    data = {'author': author,
            'id': Id,
            'text': text}
    writer.writerow(data)
    
csvf.close()

五、整理汇总代码

将1234代码合并整理，就是一个对知乎问题回答的批量采集爬虫。

注意复制粘贴代码，要注意层次关系，上下变量名要对应衔接。

import requests
import csv
import time
#新建csv，存储数据
csvf = open('zhihu.csv', 'a+', encoding='utf-8', newline='')
fieldnames = ['author', 'id', 'text']
writer = csv.DictWriter(csvf, fieldnames=fieldnames)
writer.writeheader()
#伪装头，用于反爬
headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10\_15\_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36'}

#网址模板
template = 'https://www.zhihu.com/api/v4/questions/432119474/answers?include=data%5B\*%5D.is\_normal%2Cadmin\_closed\_comment%2Creward\_info%2Cis\_collapsed%2Cannotation\_action%2Cannotation\_detail%2Ccollapse\_reason%2Cis\_sticky%2Ccollapsed\_by%2Csuggest\_edit%2Ccomment\_count%2Ccan\_comment%2Ccontent%2Ceditable\_content%2Cattachment%2Cvoteup\_count%2Creshipment\_settings%2Ccomment\_permission%2Ccreated\_time%2Cupdated\_time%2Creview\_info%2Crelevant\_info%2Cquestion%2Cexcerpt%2Crelationship.is\_authorized%2Cis\_author%2Cvoting%2Cis\_thanked%2Cis\_nothelp%2Cis\_labeled%2Cis\_recognized%2Cpaid\_info%2Cpaid\_info\_content%3Bdata%5B\*%5D.mark\_infos%5B\*%5D.url%3Bdata%5B\*%5D.author.follower\_count%2Cbadge%5B\*%5D.topics%3Bsettings.table\_of\_content.enabled%3B&offset={offset}&limit=5&sort\_by=default&platform=desktop'

#批量采集，
#目前可爬1240+页数据
#这里仅抓取前100页
for page in range(1, 100):
    #对第page页进行访问
    url = template.format(offset=page)
    resp = requests.get(url, headers=headers)
    
    #解析定位第page页的数据
    for info in resp.json()['data']:
        author = info['author']
        Id = info['id']
        text = info['excerpt']
        data = {'author': author,
                'id': Id,
                'text': text}
        #存入csv
        writer.writerow(data)
        
    #降低爬虫对知乎的访问速度
    time.sleep(1) 
    
#关闭csvf
csvf.close()

测试

采集完毕后，我们检查下zhihu.csv，看看是否采集到的数据。

import pandas as pd

df = pd.read_csv('zhihu.csv')
df.head()

在这里插入图片描述

词云图

选中所有回答的内容text，制作词云图，可以看到知乎用户对哈工大感恩节事件的看法。

import jieba

import json

from pyecharts import options as opts
from pyecharts.charts import WordCloud

text_contents = ''.join(df['text'])
words = jieba.lcut(text_contents)
words = [w for w in words if len(w)>1]
wordfreqs = [(w, words.count(w)) for w in set(words)]

c = (
    WordCloud()
    .add("", 
         wordfreqs, 
         word_size_range=[10, 70])
    .set_global_opts(title_opts=opts.TitleOpts(title="哈工大感恩节"))
    .render_notebook()
)

c

在这里插入图片描述