《战狼Ⅱ》破50亿 Python爬虫抓取获取12万条影评分析看它在说
来源:奇酷学院 发表于:2017-08-23 10:03:46
《战狼Ⅱ》破50亿了,你还不知道它在说啥?本文通过Python爬虫抓取获取12万条影评分析,告诉你《战狼Ⅱ》用什么撩到了你。
《战狼Ⅱ》破50亿了,你还不知道它在说啥?本文通过Python爬虫抓取获取12万条影评分析,告诉你《战狼Ⅱ》用什么撩到了你。
先上一张炸裂的海报。
数据的获取
对于数据的获取,本文采用的是Python爬虫的方式获取的数据。用到的主要是requests包与正则包re。该程序并未对验证码进行处理。
之前也爬取过豆瓣的网页,当时由于爬取的内容少,所以并没有遇到验证码的事情。在写本文爬虫的时候,原以为也不会有验证码,但是当爬取到大概15000个评论的时候跳出来验证码。然后我就想不就是十二万吗?最多我也就是输入大概十几次验证码,所以就没有处理验证码的事情。
但是接下来的事情就有点坑到我了。爬取15000左右评论并输入验证码的时候,我以为会接下来爬取到30000左右,可是才爬了3000左右就不行了,还是要输验证码。然后就一直这样,跌跌撞撞,有时候爬取好长时间才需要验证码,有时候则不是。不过最后还是把评论爬取下来了。
爬取的内容主要是:用户名,是否看过,评论的星星点数,评论时间,认为有用的人数,评论内容。参看下图(用户名已隐藏):
这个是影评的起始页:豆瓣影评
以下是Python爬虫的代码