《战狼Ⅱ》破50亿 Python爬虫抓取获取12万条影评分析看它在说
来源：奇酷学院 发表于：2017-08-23 10:03:46
《战狼Ⅱ》破50亿了，你还不知道它在说啥？本文通过Python爬虫抓取获取12万条影评分析，告诉你《战狼Ⅱ》用什么撩到了你。
《战狼Ⅱ》破50亿了，你还不知道它在说啥？本文通过Python爬虫抓取获取12万条影评分析，告诉你《战狼Ⅱ》用什么撩到了你。
先上一张炸裂的海报。
数据的获取
对于数据的获取，本文采用的是Python爬虫的方式获取的数据。用到的主要是requests包与正则包re。该程序并未对验证码进行处理。
之前也爬取过豆瓣的网页，当时由于爬取的内容少，所以并没有遇到验证码的事情。在写本文爬虫的时候，原以为也不会有验证码，但是当爬取到大概15000个评论的时候跳出来验证码。然后我就想不就是十二万吗?最多我也就是输入大概十几次验证码，所以就没有处理验证码的事情。
但是接下来的事情就有点坑到我了。爬取15000左右评论并输入验证码的时候，我以为会接下来爬取到30000左右，可是才爬了3000左右就不行了，还是要输验证码。然后就一直这样，跌跌撞撞，有时候爬取好长时间才需要验证码，有时候则不是。不过最后还是把评论爬取下来了。
爬取的内容主要是：用户名，是否看过，评论的星星点数，评论时间，认为有用的人数，评论内容。参看下图(用户名已隐藏)：
这个是影评的起始页：豆瓣影评
以下是Python爬虫的代码
6009
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
