【Python数据分析】性别差异对电影评分差异度的影响

数据描述:

u.user是评分者的基本身份信息

文件内容示例如下:五列数据分别表示用户编号、年龄、性别、职业、zip code

u.data是评分者对电影评分的信息

文件内容示例如下:四列数据分别表示用户编号、电影编号、评分、时间戳

源代码:

import pandas as pd
import numpy as np

#从原始文件中读入数据
user = ['user id','age','gender','occupation','zip code']
user_info = pd.read_csv('ml-100k/u.user',sep='|',names=user)
rating = ['user id','item id','rating','timestamp']
rating_info = pd.read_csv('ml-100k/u.data',sep='\t',names=rating)

#从读入文件中提取所需信息 提高效率
user_df = pd.DataFrame()
user_df['user id']=user_info['user id']
user_df['gender']=user_info['gender']
rating_df = pd.DataFrame()
rating_df['user id']=rating_info['user id']
rating_df['rating']=rating_info['rating']

#合并
rating_df=pd.merge(user_df,rating_df)
#求男女电影评分的标准差
result=rating_df.groupby('gender').rating.apply(np.std)

 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
从豆瓣批量获取看过电影用户列表,并应用kNN算法预测用户性别 首先从豆瓣电影的“看过这部电影 的豆瓣成员”页面上来获取较为活跃的豆瓣电影用户。 获取数据 链接分析 这是看过"模仿游戏"的豆瓣成员的网页链接:http://movie.douban.com/subject/10463953/collections。 一页上显示了20名看过这部电影的豆瓣用户。当点击下一页时,当前连接变为:http://movie.douban.com/subject/10463953/collections?start=20。 由此可知,当请求下一页内容时,实际上就是将"start"后的索引增加20。 因此,我们可以设定base_url='http://movie.douban.com/subject/10463953/collections?start=',i=range(0,200,20),在循环中url=base_url+str(i)。 之所以要把i的最大值设为180,是因为后来经过测试,豆瓣只给出看过一部电影的最近200个用户。 读取网页 在访问时我设置了一个HTTP代理,并且为了防止访问频率过快而被豆瓣封ip,每读取一个网页后都会调用time.sleep(5)等待5秒。 在程序运行的时候干别的事情好了。 网页解析 本次使用BeautifulSoup库解析html。 每一个用户信息在html中是这样的: 七月 (银川) 2015-08-23   首先用读取到的html初始化soup=BeautifulSoup(html)。本次需要的信息仅仅是用户id和用户电影主页,因此真正有用的信息在这段代码中: 因此在Python代码中通过td_tags=soup.findAll('td',width='80',valign='top')找到所有的块。 td=td_tags[0],a=td.a就可以得到 通过link=a.get('href')可以得到href属性,也就用户电影主页链接。然后通过字符串查找也就可以得到用户ID了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值