导语
利用Python爬取并简单分析知乎用户粉丝构成。
随便玩玩的,让我们愉快地开始吧~
开发工具
Python版本:3.6.4
相关模块:
pyecharts模块;
requests模块;
jieba模块;
fake_useragent模块;
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
额外说明:
pyecharts模块安装时请依次执行以下命令:
pip install echarts-countries-pypkg
pip install echarts-china-provinces-pypkg
pip install echarts-china-cities-pypkg
pip install pyecharts
原理简介
感觉很多爬过知乎的人应该都知道,知乎有三个常用的API接口,如下图所示:
因为是随便玩玩的,所以本文只用了第三个接口来获取指定用户的粉丝信息,信息包括用户昵称、标题、性别、回答问题的数量等。然后再利用pyecharts等库对数据进行简单的可视化分析。
顺便提一下,那些号称用python爬了几十万知乎用户信息的,用的大多都是这三个接口+Scrapy框架。以后有时间我也来过把瘾试一试。T_T
That's all.
完整源代码请自行参考相关文件。
结果展示
爬虫部分:
修改下图中的用户为需要爬取的用户:
在cmd窗口运行"Zhihu_Spider.py"文件即可。
注意,这里的用户指代url_token,比如:
运行截图:
数据分析:
粉丝男女比例:
粉丝昵称词云:
粉丝标题词云:
粉丝的粉丝:
粉丝的回答数量:
That's all.
更多
代码截止2018-08-13测试无误。