《少年的你》值得看吗？用Python分析豆瓣影评

《少年的你》值得看吗？用Python爬取和分析豆瓣影评

周末朋友圈最热的四个字—《少年的你》。

不仅是因为周冬雨和首登大荧幕的易烊千玺，也是因为我们每个人都经历过少年时期。
更是因为我们都直接或间接目睹过校园欺凌，有人选择了挺身而出，但更多人选择过被迫的沉默。

这个叫陈念的女孩，瘦小、平凡，长着一张被霸凌者认定“不怎么好看”的脸。

小北自觉承担起了保护陈念的责任：
默默跟随着送她上下学、为她威胁施暴却没受到惩罚的女同学……

以至于再后来小北私自决定承担起一切，执意要给陈念最好的结局。

| 简 介

这几天的朋友圈一直在强烈推荐《少年的你》，由于周末和朋友玩德州扑克，没有及时去刷一下。
今天中午心痒痒去看了豆瓣影评，发现大家真的很爱这个电影，不仅是因为周冬雨和首登大荧幕的易烊千玺，更是因为我们每个人都经历过少年时期。里面的评价中或多或少提及自己的经历，让人越看越感动，一时手痒，所以准备爬一下豆瓣上的影评。

整个项目其实很简单，继续三步走：

• 爬取数据
• 清理数据
• 生成词云图

我使用的python版本是3.7

| 爬取数据

我们先打开影评页面，点进去详细看：
首页：
https://movie.douban.com/subject/26363254/comments?start=0&limit=20&sort=new_score&status=P
第一页：
https://movie.douban.com/subject/26363254/comments?start=20&limit=20&sort=new_score&status=P
第二页：
https://movie.douban.com/subject/26363254/comments?start=40&limit=20&sort=new_score&status=P

观察影评页面URL的结构可以看到，影评页面的基本结构是一致的，后面的limit=20限制的页面影评的显示数量，只需要通过调整start=X，X的值来调整爬取的页面。接下来，我们之间获取我们需要的网页：
查看网页源码：

或者直接

import requests
url =requests.get("https://movie.douban.com/subject/30166972/comments?start=0&limit=20")
html = r.url

我们能够知道评论内容的具体位置，接下来直接来找我们需要的评论内容就可以啦~
从上面的源码可以知道，我们需要找到class=”mod-bd”的div标签，将获取的网页内容转化为我们需要查到的对象，然后在解析出需要的内容：
通过BeautifulSoup库非常容易实现：

import requests
url =requests.get("https://movie.douban.com/subject/30166972/comments?start=0&limit=20")
html = r.url

comment = BeautifulSoup(html, "html.parser") 
comments_secect = comment .find("div", "mod-bd")

我们已经匹配出我们需要的主体内容，由于这里需要的comment，所以只需要选择这部分文字内容，这里直接通过find_all()方法找到div内所有的class=“”的p标签。

comments_list = comments_secect.find_all("p", "")
print(comments_list)

豆瓣影评内容非常多，我们需要设计一个循环来爬取多个页面的数据，因为我们前面已经找到每一页的规律，所以按照start=X按照20来递增就可以获得所有评论信息。
在爬取过多次后发现豆瓣设置了权限，比如如果不登录就只能查看前20页的评论数据，所以还需要模拟登陆你的豆瓣账号，另外当你爬取的信息超过一定量后可能需要你输入验证信息。权限问题可以通过scrapy来登陆豆瓣账号：

def post_login(self,response):
    sel = Selector(response)
    nodes = sel.xpath("//*[@class='captcha_image']/@src").extract()
    if nodes :           
        print nodes
        xerf = raw_input()
        return scrapy.FormRequest.from_response(
                                                response,
                                                formdata={
                                                          'captcha-solution': xerf,
                                                          'form_email': '*************',
                                                          'form_password': '*************'  
                                                },
                                                callback=self.after_login
                                                ) #这里需要输入你的账号密码

    return scrapy.FormRequest.from_response(
            response,
            formdata={'form_email': '*************',
                      'form_password': '*************'  
                    },
            callback=self.after_login
    )

| 清理数据

通过上面两部分，我们就可以获得具体的评论内容了，获取文字评论后，我们需要对数据进行清洗，剔除无效信息的干扰，
首先将多余的标点剔除：

comments = ''
for k in range(len(eachCommentList)):
    comments = comments + (str(eachCommentList[k])).strip()

pattern = re.compile(r'[\u4e00-\u9fa5]+')
filterdata = re.findall(pattern, comments)
cleaned_comments = ''.join(filterdata)

因为我们直接爬取下来的信息是评论的句子，所以需要先将其分词，jieba分词库非常好用：

comments = jieba.lcut(comment)
words = " ".join(comments)

如果不想在某些词在词云展示里出现，那你可以直接提出这些肯定会出现的词，比如少年，冬雨，四字弟弟等。

| 生成词云图

当你获取你想要的内容后，你可以分析的内容有很多，比如大家的对于《你的少年》情绪是怎么样的，或者大家对这部电影提及最多的是谁，或者大家对校园霸凌的态度。

词云的本质是对文本中的词进行词云统计，根据出现频率的多少来按比例展示大小

生产词云的原理
1.计算每个词在文本中出现的频率，生成一个哈希表
2.根据词频的数值按比例生成一个图片的布局
3.将词按对应的词频在词云布局图上生成图片
4.完成词云上各词的着色,默认是随机着色

"talk is cheap,show you the code"

from wordcloud import WordCloud
from imageio import imread
from matplotlib import pyplot as plt
#读取背景图片
jpg = imread('mask2.jpg')
#生成词云
wordcloud = WordCloud(
    mask = jpg,
    background_color="white",
    font_path='simhei.ttf',  
    width = 1500,
    height = 960,
    margin = 10
).generate(words)

#绘制图片
plt.imshow(wordcloud)
#去除坐标轴
plt.axis("off")
plt.show()

词云的形状可以直接通过jpg = imread(‘mask2.jpg’)来设置。
一起看一下结果：

“你保护世界，我保护你”

那是一种理想主义的浪漫，从最深的绝望中开出的花朵。

| 作者Info：

【作者】：A字头
【原创公众号】：数据札记倌（Data_Groom）
【简介】：这是一个坚持原创的技术公众号，每天坚持推送各种 Python基础/进阶文章，数据分析，爬虫实战，机器学习算法，不定期分享各类学习资源。
【福利】：送你新人大礼包一份，关注微信公众号，后台回复：“CSDN” 即可获取！