使用Scrapy框架抓取豆瓣电影TOP250信息(https://movie.douban.com/top250).
获取影片信息后对数据进行清洗,手动填补遗漏的电影信息等。
整理完毕后具体信息如下
- Rank:排名(1-250)
- title:电影片名
- Score:得分(0-10)
- MovieTypes:影片类型
- Year:上映时间
- Last:影片时长
- CountryOrRegion:制片国家或地区
- Votes:参与投票人数
- Direction:导演
- ScreenWriter:编剧
- Actors:主要演员
- Comment:一句话评价
- OriginalTitle:电影的原始片名
- Url:影片对应的链接
# Author : CuiCheng
# Created: 2017-10-03
# E-mail: cuic@lreis.ac.cn
import pandas as pd
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap
# 指定作图的风格
plt.style.use('seaborn')
# 支持中文字符和负号
plt.rcParams['font.sans-serif'] = 'Microsoft YaHei'
plt.rcParams['axes.unicode_minus'] = False
filepath = './doubanMovies.xlsx'
movies = pd.read_excel(filepath)
# 查看记录数和字段数
print(movies.shape)
(250, 14)
# 具体查看某一条电影的信息
movies.iloc[10]
Rank 11
Title 海上钢琴师
Score 9.2
MovieTypes 剧情 音乐
Year 1998
Last 165
CountryOrRegion 意大利
Votes 597778
OriginalTitle La leggenda del pianista sull'oceano
Direction 朱塞佩·托纳多雷
ScreenWriter 亚利桑德罗·巴里克 朱塞佩·托纳多雷
Actors 蒂姆·罗斯 普路特·泰勒·文斯 比尔·努恩 梅兰尼·蒂埃里 阿尔贝托·巴斯克斯
Comment 每个人都要走一条自己坚定了的路,就算是粉身碎骨。
Url https://movie.douban.com/subject/1292001/
Name: 10, dtype: object
电影评分
fig, ax = plt.subplots(figsize=(9,9))
n,bins,pathces=ax.hist(movies['Score'],bins=7,facecolor='g',alpha=0.7)
ax.set_xticks(np.linspace(8,10,11))
ax.set_ylim(ymax=90)
ax.set_yticklabels(np.arange(0,91,10),size=14)
ax.set_xticklabels(np.linspace(8,10,11),size=14)
for i in range(len(n)):
ax.text(bins[i]+0.1,n[i]+2,int(n[i]),fontsize=13,horizontalalignment='center')
ax.set_xlabel('评 分',fontsize=17)
ax.set_ylabel('数 量',fontsize=17)
title='影片评分直方图'
ax.set_title(title,fontsize=20)
fig.savefig(title)
plt.show()
果不其然,入选豆瓣电影TOP250的评分都高达8分以上,整体质量很高。
电影类型
在分析之前