【Python】豆瓣电影TOP250数据规律分析(Pearson相关系数、折线图、条形图、直方图)

通过对电影数据集的深入分析,本博客揭示了豆瓣排名、评分、评论人数及电影时长之间的相关性,并通过折线图、条形图和直方图直观展示各项指标的分布与关系。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、数据集预览

在这里插入图片描述
部分数据说明:
豆瓣排名num
评分rating_num
评分人数comment_num
电影时长movie_duration

2、查看电影数据集基本数据信息

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
data = pd.read_csv('电影排名.csv') #读取数据

#1.查看电影数据集基本数据信息
print(data.describe())

在这里插入图片描述

3、Pearson相关系数分析数据之间的关系

#2.分析数据集中的数据项和电影排名的关系。
#输出Pearson相关系数,并保留两位小数
print('相关系数矩阵为:','\n',np.round(data.iloc[1:,1:].corr(method = 'pearson'), 2))

在这里插入图片描述
分析:
相关系数的绝对值越大,相关性越强:相关系数越接近于1或-1,相关度越强,相关系数越接近于0,相关度越弱。
通常情况下通过以下取值范围判断变量的相关强度:
0.8-1.0 极强相关
0.6-0.8 强相关
0.4-0.6 中等程度相关
0.2-0.4 弱相关
0.0-0.2 极弱相关或无相关

(1)豆瓣排名num和评分rating_num之间的相关系数为:-0.69,可见其存在强相关关系。即评分越高,排名数越小(排名越靠前)
(2)豆瓣排名num和评分人数comment_num之间的相关系数为:-0.65,强相关,即评分人数越多,排名越靠前!
(3)豆瓣排名num和电影时长movie_duration的相关系数为:-0.26,关系为弱相关,可以认为这两者并没什么关系。(常识亦可知,一个电影的好坏,排名是否靠前,与其时长确实关系不大)

4、分析结果并使用图形说明

折线图
import matplotlib.pyplot as plt
#(1)豆瓣排名num和评分rating_num之间的关系折线分布图
plt.plot(data['num'],data['rating_num'],'ro-')
plt.show()

#(2)豆瓣排名num和评分人数comment_num之间的关系折线分布图
plt.plot(data['num'],data['comment_num'],'b*-')
plt.bar(data['num'],data['comment_num'])
plt.show()

#(3)豆瓣排名num和电影时长movie_duration的关系折线分布图
plt.plot(data['num'],data['movie_duration'],'gD-')
plt.show()

(1)豆瓣排名num和评分rating_num之间的关系折线图分布图
在这里插入图片描述

(2)豆瓣排名num和评分人数comment_num之间的关系折线分布图
在这里插入图片描述
(3)豆瓣排名num和电影时长movie_duration的关系分布折线图
在这里插入图片描述

条形图
#条形图
#plt.bar(data['num'],data['rating_num']-8) #通过减8的方法来控制范围
plt.ylim(8,10)
plt.bar(data['num'],data['rating_num']) 

plt.bar(data['num'],data['comment_num'],color='pink')

plt.bar(data['num'],data['movie_duration'],color='green')

(1)豆瓣排名num和评分rating_num之间条形分布图
直接绘制效果不明显
在这里插入图片描述

设置y轴范围后效果不错:
在这里插入图片描述

(2)豆瓣排名num和评分人数comment_num之间关系条形图
在这里插入图片描述

(3)豆瓣排名num和电影时长movie_duration的关系分布直方图
在这里插入图片描述

直方图
#直方图(反映数据分布规律,不反映数据之间的关系)
plt.hist(data['rating_num'])

plt.hist(data['comment_num'], bins=100, normed=0, facecolor="blue", edgecolor="black", alpha=0.7)

plt.rcParams['font.sans-serif']=['SimHei']   # 用黑体显示中文
plt.rcParams['axes.unicode_minus']=False     # 正常显示负号
plt.xlabel("区间")
plt.ylabel("频数/频率")
plt.title("频数/频率分布直方图")
plt.hist(data['movie_duration'], 40, histtype='stepfilled', facecolor='r', alpha=0.65)

(1)评分分布规律
在这里插入图片描述

(2)评分数目分布规律直方图
在这里插入图片描述
(3)电影时长分布直方图
在这里插入图片描述

标准化后对比分析
#4.附加实验:标准化后,对比分析评分、评论人数、时长数据的差异
def MaxMinNormalization(x):  #0/1标准化
    x = (x - np.min(x)) / (np.max(x) - np.min(x))
    return x

d1 = MaxMinNormalization(data['rating_num'])
d2 = MaxMinNormalization(data['comment_num'])
d3 = MaxMinNormalization(data['movie_duration'])

plt.plot(data['num'],d1,'r-',d2,'b-',d3,'g-')
plt.legend(['评分rating_num','评分人数comment_num','电影时长movie_duration'])

在这里插入图片描述

爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 求网页: 爬虫使用HTTP或其他协议向目标URL发起求,获取网页的HTML内容。这通常通过HTTP求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本、图片、链接等。 数据存储: 爬虫将提取的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施,如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值