一次完整的python数据分析流程是怎么样的？
使用python从网站抓取数据，并将这些数据保存到SQLite数据库中，然后对数据进行清洗，最后对数据进行数据可视化分析。
可是熟悉的人应该知道，python爬取简单，但是分析起来是很困难的，SQL语句、Pandas和Matplotlib这些十分繁琐，一般人也不会。
于是我想到了用一种更简单的方式进行数据分析，那就是python爬取+BI分析。什么是BI就不用我多做介绍了吧，python强大的数据获取能力，配合敏捷BI简单快捷的数据可视化操作，分析效果那肯定是杠杠的！
那这次我们就来看看“人均985，年薪百万”的知乎背后，到底有什么秘密？话不多说，开爬！
一、我们想要哪些数据？
知乎用户的学校和公司肯定是首当其冲的，我想看看到底这些人是编的还是真的哈哈哈。
其次就是性别，职业，地理位置，活跃程度等，统统扒个遍。
二、爬取的过程
知乎现在改用https请求了，数据加密，但是问题不大，重要的是网页数据改动了，而且在请求时后台会对爬虫做一些判断，因此在每次请求是都需要加上request header，尽可能接近浏览器请求的样子。
得到列表页的源码后，你可以从其中获取到每个问题的链接：
每页有20个问题，所以你可以获得到2
最低0.47元/天 解锁文章
627
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
