张凡幸，人工智能初阶小白，初学Python，喜欢数据分析、爬虫相关内容
微信公众号：学习随笔（ID：walker398）
前言：
数据森麟公众号收到读者来稿，一篇关于《爱情公寓》电影版的数据分析，在此向张凡幸同学表示感谢，同时感谢张同学允许将这篇文章的原创tag打在数据森麟公众号上。张同学个人公众号的二维码在下方，大家可以多多关注，互相交流：
下面进入正文：
最近闲来无事，看到数据森麟公众号分享的有关《西虹市首富》的猫眼电影评论分析
PART1：数据爬取
相关代码：
# coding: utf-8
import pandas as pd
import requests
import random
import json
import time
header={
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',
'Connection':'keep-alive'
}
cookies = '_lxsdk_cuid=1651950e6dfc8-02b4e01b2f82ec-6b1b1279-100200-1651950e6dfc8; _lxsdk=FA2EEC709AFE11E883FE1F23FDF\
D6ADBB39CE732DF384D9DADFD1909B110AD64; v=3; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; __mta=121983668.153372\
8057235.1533731802598.1533731803845.10'
cookie = {}
for line in cookies.split(';'):
name, value = cookies.strip().split('=', 1)
cookie[name] = value
love_apartment = pd.DataFrame(columns=['data','score','city','comment','nick'])
for i in range(0,1000):
j = random.randint(1,1000)
print(str(i)+' '+str(j))
try:
time.sleep(2)
url = 'https://m.maoyan.com/mmdb/comments/movie/1175253.json?_v_=yes&offset='+str(j)
html = requests.get(url=url, cookies=cookie,headers=header).content
data = json.loads(html.decode('utf-8'))['cmts']
for item in data:
love_apartment = love_apartment.append({'data':item['time'].split(' ')[0],'city':item['cityName'],
'score':str(item['score']),'comment':item['content'],'nick':item['nick']},
ignore_index=True)
love_apartment.to_csv('爱情公寓.csv',index=False)
except:
continue
数据获取的最大的难点就是猫眼电影短评的api，如果直接在电脑上用浏览器是获取不到api的，本次采用的是利用手机，UC，Fiddler软件对网站的url、header及cookie进行获取，具体网址：
https://blog.csdn.net/shimengran107/article/details/78644862
另外这回也是第一次尝试pandas，所以也费了不少时间去学习，附上相关网址：
https://blog.csdn.net/liufang0001/article/details/77856255/
获得数据表如下：
这里遇到比较多问题就是编码问题，生成的CSV文件会出现乱码，有两种方法，我选择的是CSV转为Excel，附上相关解决方案的网址：
https://blog.csdn.net/lht_okk/article/details/54929103
https://blog.csdn.net/erinalees/article/details/78862011
基本上数据获取就完成了，电影短评截止到现在大概有7万条，我利用Python的随机函数获取了其中的1千条左右（我也不知道为什么这么少...，有待考究，可是1千多条的数据清除无效地图城市也花了不少时间），然后进行数据分析，详情请见后文。
PART2：数据分析
首先附上图表神器pyecharts的技术文档的网址：http://pyecharts.org/#/zh-cn/charts
这里主要是使用其中的HeatMap（热力图）、Bar（柱状图/条形图）、Line（折线/面积图）、Geo（地理坐标系）、Overlap 类。
词云生成wordcloud使用网址：
https://blog.csdn.net/fly910905/article/details/77763086
这里遇到最大的障碍就是Pycharm导入pyecharts库、wordcloud库失败，至于为什么也是不懂。无奈只好通过相关网站下载.whl格式的安装包，在文件夹环境下安装库，可以成功使用。
上篇的pandas也在这里有应用，主要是涉及对数据表的排序、计算处理。主要的函数就是groupby和agg，groupby可以理解为基于行操作（对相同行进行归类），agg则是基于列的（统计列的平均值和数量）。
import pandas as pd
from pyecharts import Bar, Line,Overlap,Geo
import jieba
from wordcloud import WordCloud,ImageColorGenerator
import matplotlib.pyplot as plt
from collections import Counter
love_apartment_com = pd.read_excel('爱情公寓.xlsx',encoding='utf-8')
grouped = love_apartment_com.groupby(['city'])
grouped_pct = grouped['score']
city_com = grouped_pct.agg(['mean', 'count'])
city_com.reset_index(inplace=True)
city_com['mean'] = round(city_com['mean'], 2)
data = [(city_com['city'][i], city_com['count'][i]) for i in range(0, city_com.shape[0])]
geo = Geo('《爱情公寓》全国热力图', title_color="#fff",title_pos="center", width=1200, height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, type="heatmap", is_visualmap=True, visual_range=[0, 20],visual_text_color="#fff")
geo.render('爱情公寓全国观影图.html')
city_main = city_com.sort_values('count',ascending=False)[0:20]
attr = city_main['city']
v1 = city_main['count']
v2 = city_main['mean']
line = Line("主要城市评分")
line.add("城市", attr, v2, is_stack=True, xaxis_rotate=30, yaxis_min=0, mark_point=["max", "min"], xaxis_interval=0,
line_color='lightblue', line_width=4, mark_point_textcolor='black', mark_point_color='lightblue', is_splitline_show=False)
bar = Bar("主要城市评论数")
bar.add("城市", attr, v1, is_stack=True, xaxis_rotate=30, yaxis_min=0, xaxis_interval=0, is_splitline_show=False)
overlap = Overlap()
overlap.add(bar)
overlap.add(line, yaxis_index=1, is_add_yaxis=True)
overlap.render('主要城市评分and评论数.html')
这边少了折线图y轴坐标的注释，明明程序里是有添加的，但是不知为何没有显示，我对城市其实没多大兴趣，主要想看就是电影评分，不过总的来说确实分低，也许这就是卖弄情怀的结果，欺骗了广大观众朋友的感情。
city_score = city_main.sort_values('mean',ascending=False)[0:20]
attr = city_score['city']
v1 = city_score['mean']
line = Line('爱情公寓主要城市评分')
line.add("城市", attr, v1, is_stack=True, xaxis_rotate=30, yaxis_min=0, mark_point=["min", "max"], xaxis_interval=0,
line_color='lightblue', line_width=4, mark_point_textcolor='black', mark_point_color='lightblue', is_splitline_show=True)
line.render('爱情公寓主要城市评分.html')
最高：4.36分，最低：2.21分，数据收集的不少，应该还算可靠。
city_score_area = city_com.sort_values('count',ascending=False)[0:30]
city_score_area.reset_index(inplace=True)
data = [(city_score_area['city'][i], city_score_area['mean'][i]) for i in range(0, city_score_area.shape[0])]
geo = Geo('《爱情公寓》全国打分图', title_color="#fff",title_pos="center", width=1200, height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, visual_range=[0, 5],visual_text_color="#fff", symbol_size=15, is_visualmap=True,is_roam=False)
geo.render('爱情公寓全国打分图.html')
一片黄颜色的点点，评分大多在中间段
love_apartment_str = ' '.join(love_apartment_com['comment'])
words_list = []
word_generator = jieba.cut_for_search(love_apartment_str)
for word in word_generator:
words_list.append(word)
words_list = [k for k in words_list if len(k)>1]
back_color = plt.imread('爱心.jpg')
wc = WordCloud(background_color='white',
mask=back_color,
font_path='C:\Windows\Fonts\STZHONGS.TTF',
max_words=2000,
max_font_size=250,
random_state=30,
)
love_apartment_count = Counter(words_list)
wc.generate_from_frequencies(love_apartment_count)
image_colors = ImageColorGenerator(back_color)
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')
print('生成词云成功!')
wc.to_file('love_apartment.jpg')
生成的词云如下：
怎么说呢，一开始看跑男的节目的时候还以为有点搞头，慢慢的时间越长名堂也越来越明显了，网上的评论也是吐槽不少，不过这也不是我该操心的事了。
十年青春，说过就过，依稀还记得里面的一句台词：人生没有彩排，每一天都是现场直播。共勉！
如果大家周围有对数据分析&数据挖掘感兴趣的朋友，欢迎在朋友圈分享&转发我们的公众号，让更多的朋友加入数据森麟。有好的文章也可以联系我与大家分享，需要获取代码转载本公众号文章，可以直接在公众号或者文章下方留言。
往期文章：
扫一扫
687
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
