Moxielens 1M数据集

import pandas as pd
#读取数据，生成DataFrame对象
unames=['user_id','gender','age','occupation','zip']
users=pd.read_table('users.dat',sep='::',header=None,names=unames,engine='python')
rnames=['user_id','movie_id','rating','timestamp']
ratings=pd.read_table('ratings.dat',sep='::',header=None,names=rnames,engine='python')
mnames=['movie_id','title','genres']
movies=pd.read_table('movies.dat',sep='::',header=None,names=mnames,engine='python')
#print movies['title'][:10]


#合并三个表格
data=pd.merge(pd.merge(ratings,users),movies)#将同名的列合并起来，构成表格
#print data.ix[0]#索引第一行


#根据性别来计算每部电影的平均打分
mean_ratings=data.pivot_table('rating',index='title',columns='gender',aggfunc='mean')
#print mean_ratings[:5]


#过滤评分数目不够250条的电影
rating_by_title=data.groupby('title').size()#利用size()得到一个含有电影分组大小的Series对象
active_titles=rating_by_title.index[rating_by_title>=250]
#print active_titles
mean_ratings=mean_ratings.ix[active_titles]#筛选得到评分大于250的电影
#print mean_ratings[:10]


#观察女性观众最喜欢的电影，对F列进行降序排序
top_female_ratings=mean_ratings.sort_index(by='F',ascending=False)#默认为升序排列
#print top_female_ratings[:10]


#计算男女评分差异最大的电影
mean_ratings['differ']=mean_ratings['F']-mean_ratings['M']#计算差值列并加入到mean_rating表中
sorted_by_difer=mean_ratings.sort_index(by='differ')
print sorted_by_difer[:10]


#计算分歧最大的电影
rating_std_by_title=data.groupby('title')['rating'].std()#计算每部电影的标准差
rating_std_by_title=rating_std_by_title[active_titles]#筛选得到评分大于250的电影
#print rating_std_by_title.order(ascending='False')[:10]