python 豆瓣排行榜

已于 2024-03-19 15:07:26 修改
阅读量460 收藏
点赞数 3
文章标签： python 开发语言
于 2024-03-15 18:02:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FuWen_Hao/article/details/136746518
版权

文章目录

一、爬取豆瓣

1.引入库

import requests
from bs4 import BeautifulSoup

2.问题

import requests
 
# 发请求测试
response = requests.get('https://movie.douban.com/top250')
print(response)

在这里插入图片描述

状态码是418，意思是服务器拒绝了我们的请求。这是因为服务器没有识别到我们是用户端，所以为了保证网站数据的安全，将我们拒之门外。那么我们就需要对自己进行一些简单的伪装。

UA（user-agent）伪装，是我本次采用的伪装策略，也是最简单的伪装策略，有些网站的反爬机制比较复杂，则需要采用更加复杂的反反爬机制来进行伪装，不过，对于豆瓣来说，UA伪装就够用了。

3.爬取数据

if __name__ == '__main__':
   url = 'https://movie.douban.com/chart'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                             'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
    strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
    #print(strhtml.text)
    soup = BeautifulSoup(strhtml.text, 'html.parser')
    movie_items = soup.find_all('div', class_='pl2')
    i=1
    for item in movie_items:
            # .select_one('.title') 是一个方法调用，用于查找并返回item节点下的首个匹配CSS选择器.title的元素
            title = item.select('.pl2 a')[0].text.replace(' ', '').replace('\n','')
            #print(title)
            performer = item.select('.pl2 p')[0].text.replace(' ', '').replace('\n','')
            #print(performer)
            try:
                rate_num = item.select_one('.rating_nums').text.replace('\n','')
            except Exception as e:
                rate_num = 'No Rate Num'
            # .select('.bd p') 使用BeautifulSoup库中的CSS选择器选取了属于item后代的所有类名为bd的元素下的所有<p>元素。
            # [0] 用于获取这些<p>元素中的第一个元素的文本内容，即第一个段落。
            #data = item.select('.bd p')[0].text.split('\n')
            print(str(i) + ': ' + title + ',' + performer + ',' + rate_num)
            i+=1

在这里插入图片描述

4.top250

def top250_crawer(url,sum):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                             'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
    strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
    soup = BeautifulSoup(strhtml.text, 'html.parser')
    #找到所有class为'item'的div元素
    '''
    < div class="item">
	<div class="pic">
		<em class="">
			1
			< /em>
				<a href="https:/ / movie.douban.com / subject / 1292052 / ">
					<img alt="肖申克的救赎" class="" src="https: //img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg"
					width="100" />
					< /a>
	</div>
	<div class="info">
		<div class="hd">
			<a class="" href="https://movie.douban.com/subject/1292052/">
				<span class="title">
					肖申克的救赎
					< /span>
						<span class="title">
							 / The Shawshank Redemption
							< /span>
								<span class="other">
									 / 月黑高飞 (港) / 刺激1995(台)
									< /span>
			</a>
			<span class="playable">
				[可播放]
				< /span>
		</div>
		<div class="bd">
			<p class="">
				导演: 弗兰克·德拉邦特Frank Darabont   主演: 蒂姆·罗宾斯Tim Robbins / ...
				< br />
				1994  /  美国  /  犯罪剧情
				< /p>
					<div class="star">
						<span class="rating5-t">
						</span>
						<span class="rating_num" property="v:average">
							9.7
							< /span>
								<span content="10.0" property="v:best">
								</span>
								<span>
									3001169人评价
									< /span>
					</div>
					<p class="quote">
						<span class="inq">
							希望让人自由。
							< /span>
					</p>
		</div>
	</div>
	</div>
    '''
    movie_items = soup.find_all('div', class_='item')
    i = sum+1
    for item in movie_items:
  		#.select_one('.title') 是一个方法调用，用于查找并返回item节点下的首个匹配CSS选择器.title的元素
        title = item.select_one('.title').text
        #print(title)
        rating = item.select_one('.rating_num').text
        #.select('.bd p') 使用BeautifulSoup库中的CSS选择器选取了属于item后代的所有类名为bd的元素下的所有<p>元素。
        #[0] 用于获取这些<p>元素中的第一个元素的文本内容，即第一个段落。
        data = item.select('.bd p')[0].text.split('\n')
        #data[2].replace(' ', '') 是去掉字符串中所有空格的操作，使得 / 分隔符两侧没有干扰的空格。split('/') 以 / 为分隔符，将字符串分割成子字符串组成的列表。
        time = data[2].replace(' ', '').split('/')[0]
        country = data[2].replace(' ', '').split('/')[1]
        type_of = data[2].replace(' ', '').split('/')[2]
        print(str(i) + '.' + title + ',' + country + ',' + time+','+type_of)
        i+=1
if __name__ == '__main__':
    url = 'https://movie.douban.com/top250'
    sum = 0
    '遍历10页数据，250条结果'
    for a in range(10):
        if sum == 0:
            top250_crawer(url, sum)
            sum += 25
        else:
            page = '?start=' + str(sum) + '&filter='
            new_url = url + page
            top250_crawer(new_url, sum)
            sum += 25

在这里插入图片描述

分析一下这段HTML，仅以第一个片段为例：

< div class="item">
	<div class="pic">
		<em class="">
			1
			< /em>
				<a href="https:/ / movie.douban.com / subject / 1292052 / ">
					<img alt="肖申克的救赎" class="" src="https: //img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg"
					width="100" />
					< /a>
	</div>
	<div class="info">
		<div class="hd">
			<a class="" href="https://movie.douban.com/subject/1292052/">
				<span class="title">
					肖申克的救赎
					< /span>
						<span class="title">
							/ The Shawshank Redemption
							< /span>
								<span class="other">
									/ 月黑高飞 (港) / 刺激1995(台)
									< /span>
			</a>
			<span class="playable">
				[可播放]
				< /span>
		</div>
		<div class="bd">
			<p class="">
				导演: 弗兰克·德拉邦特Frank Darabont 主演: 蒂姆·罗宾斯Tim Robbins / ...
				< br />
				1994 / 美国 / 犯罪剧情
				< /p>
					<div class="star">
						<span class="rating5-t">
						</span>
						<span class="rating_num" property="v:average">
							9.7
							< /span>
								<span content="10.0" property="v:best">
								</span>
								<span>
									3001169人评价
									< /span>
					</div>
					<p class="quote">
						<span class="inq">
							希望让人自由。
							< /span>
					</p>
		</div>
	</div>
	</div>

这段HTML代码片段描绘了一个典型的电影信息展示单元，其中包括电影海报、基本信息、评分以及简短的引述。以下是详细的解读：

  1. 整个电影项目被包裹在一个带有class="item"的<div>标签内，表示这是一个电影列表中的一个单独项目。

  2. 电影海报区域：

    • <div class="pic"> 包含了电影的海报图像和其他辅助信息。
    • <em> 标签可能用于展示电影在列表中的排序（此处为数字“1”）。
    • <a> 标签包围了电影海报，指向电影详情页面，URL为"https://movie.douban.com/subject/1292052/"。
    • <img> 标签嵌入了电影海报的图片，源地址为"https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg"，宽度为100像素。

  3. 电影基本信息区域：

    • <div class="info"> 包含电影的标题、导演、主演、年份、地区、类型以及评分等信息。
    • <div class="hd"> 中包含了电影标题相关信息：
      • 电影的中文标题、英文原名以及其他地区的译名，分别由多个<span>标签承载。
      • [可播放] 表示该电影在网站上有播放资源。

  4. 详细信息区域：

    • <div class="bd"> 包含了电影的导演、主演、上映年份及地区、类型等详细信息。
    • 显示了导演名字、主演名单（这里省略了部分信息）、电影上映的年份（1994年）、国家（美国）和类型（犯罪、剧情）。
    • 接下来是一个评级区域，包含了电影的平均评分（9.7分）和评价人数（3001169人）。
    • 最后是一个简短的电影引述，即一句电影经典台词：“希望让人自由”。

总的来说，这段HTML代码用于在网页上呈现一个标准化的电影项目卡，提供了观众快速浏览电影基本信息所需的各项内容。

FuWen_Hao
关注
python爬取豆瓣高分书籍信息（request+xpath）
柳小葱的博客
08-03 1796
复习了xpath,感觉还是熟悉的感觉。上次爬了微博爬了贴吧，这次就用xpath爬个豆瓣图书数据，作为学习时间序列的数据吧！ 面向对象编程爬取 1.把自己要做的事情分类 #获取url的规律组成url_list #遍历，获取请求，获得响应 #爬取数据 #保存数据 2.导包，初始化类 import requests from lxml import etree import csv class doubanspider: def __init__(self):
python爬取豆瓣书评排行榜_爬虫：爬取豆瓣读书排行榜
weixin_39594103的博客
12-10 832
写在前面的话单说爬虫豆瓣排行榜，好像有点无聊~如果说，利用我们爬取的信息，可以做一个自己的年度读书展示，会不会感觉有趣一点呢，嘻嘻~爬取豆瓣书籍的封面图，很快就可以做一个属于自己的读书小结啦~(参照下图)读书展示之前网友提示我，触发了豆瓣反爬机制， 。感谢网友提醒。现已更改。——2020.01.06完整代码import requests # 获取网页数据from bs4 import Beaut...
Python爬取豆瓣排行榜
缇欧的咪西
03-08 693
B站学学爬虫，自己写写这种简单的，还可以存到MongoDB里面，就是格式化输出的时候还是有点格式对不上 网址是这么来的 #-*-coding:utf-8-*- import re # import pymongo import requests # from config import * # client = pymongo.MongoClient(MONGO_URL) #声明mon...
Python爬取豆瓣top榜电影
蔚蓝海域的博客
11-13 2697
希望阅读本文的时候，你已经装好python环境。该程序用于爬取豆瓣电影数据，并将数据保存到mysql。 1.你需要在你的python中下载需要的模块，bs4，xlwt，以及pymysql 2.程序主要的步骤是分析网页，提取网页中的数据，存储。具体的mysql表结构如下： 3.python过程代码 获取网页内容 #得到一个指定url的网页内容 def askUrl(url): #代理,模拟浏览器发送请求，防止被检测为爬虫 head = { "User-Agent" : "M
python爬取豆瓣电影排行榜_python爬取豆瓣电影排行榜
weixin_36076701的博客
02-10 915
# -*- coding: utf-8 -*-import pandasimport numpy as npimport pandas as pdfrom pandas import Series,DataFramefrom bs4 import BeautifulSoupimport requestsimport timeurls=['https://movie.douban.com/top25...
Python—爬取豆瓣电影排行榜
m0_65592409的博客
03-15 2004
import requests import json from xlutils.copy import copy import xlrd import xlwt headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36' } url = 'https://movie.do.
用python爬豆瓣电影TOP250排行榜！
m0_62283350的博客
06-15 858
学习资源推荐除了上述分享，学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！👉Python所有方向的学习路线👈。
使用 python 脚本爬取豆瓣电影排行榜
shenyuanhaojie的博客
01-17 1512
文章目录1. 脚本内容2. 获取的内容 1. 脚本内容 # -*- codeing = utf-8 -*- from bs4 import BeautifulSoup # 网页解析，获取数据 import re # 正则表达式，进行文字匹配` import urllib.request, urllib.error # 制定URL，获取网页数据 import xlwt # 进行excel操作 #import sqlite3 # 进行SQLite数据库操作 findLink = re.compil
python爬取豆瓣排行榜电影数据(含GUI界面版)
人生苦短， 还不用Python？
06-13 3268
项目简介 这个项目源于大三某课程设计。平常经常需要搜索一些电影，但是不知道哪些评分高且评价人数多的电影。为了方便使用，就将原来的项目重新改写了。当做是对爬虫技术、可视化技术的实践了。主要是通过从排行榜和从影片关键词两种方式爬取电影数据。 配置说明 打开http://chromedriver.storage.googleapis.com/index.html，根据自己的操作系统下载对应的chr...
用Python爬取豆瓣电影分类排行榜（保存至本地）
08-08
用 Python 爬取豆瓣电影分类排行榜并保存到本地excel文件 作者博客：https://blog.csdn.net/weixin_52132159 文章链接：https://blog.csdn.net/weixin_52132159/article/details/119505289
python爬虫开发学习-爬取豆瓣排行榜电影数据(含GUI界面版)-源码.zip
04-08
这份Python爬虫源代码是一份非常实用的学习资料，它可以帮助用户快速掌握爬取豆瓣排行榜电影数据的技能。该代码包含了GUI界面版，使得用户可以更加方便地进行操作和管理。 该代码使用了Python的requests库和...
Python爬虫程序源代码爬取豆瓣TOP250排行榜数据电影名称评分导演演员等信息
12-21
Python爬虫程序源代码爬取豆瓣TOP250排行榜数据电影名称评分导演演员等信息 知识领域： 数据爬取、数据分析、Python编程技术关键词： Python、网络爬虫、数据抓取、数据处理内容关键词： 豆瓣电影、排行榜、数据...
Python使用Beautiful Soup爬取豆瓣音乐排行榜过程解析
09-18
本文介绍了使用Beautiful Soup配合Python爬取豆瓣音乐排行榜数据的过程，这个过程对于学习爬虫技术有着重要的参考价值。 在深入解析如何使用Beautiful Soup爬取豆瓣音乐排行榜之前，我们先要对Beautiful Soup这个库...
Python办公自动化案例（二）：对比两个Excel数据内容并标出不同
衍生星球的博客
09-14 108
在数据处理和分析的日常工作中，我们经常需要比较两个Excel文件的差异。这可能是为了验证数据的一致性、检查数据的准确性，或者在版本控制中追踪更改。手动比较这些文件不仅耗时，而且容易出错。幸运的是，Python的openpyxl库提供了一种自动化这一过程的方法。
蒙特卡罗方法——布丰投针实验近似计算圆周率python代码实现
2301_79376014的博客
09-09 505
蒙特卡罗——布丰实验
Python实现多线程、多进程及协程
qq_42568323的博客
09-09 1093
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
Python——俄罗斯方块
最新发布
2302_81225694的博客
09-14 214
这段代码使用了Pygame库来实现游戏的图形界面，通过键盘控制方块的移动和旋转。游戏循环不断更新方块的位置和网格状态，并绘制在屏幕上。在方块达到底部或无法继续移动时，判断是否有满行，并清除满行的方块。游戏会根据方块的状态和移动情况不断更新，直到无法继续下落为止，游戏结束。俄罗斯方块游戏是一款经典的益智游戏，通常使用编程语言Python来实现。请注意，这只是一个简单的示例，可能还有一些功能和优化方面的改进。您可以根据自己的需求进行修改和扩展。
JIT编译器
Flying_Fish_roe的博客
09-11 553
JIT（Just-In-Time，实时编译）编译器是 Java 虚拟机（JVM）中的一项重要技术，用于将 Java 字节码（Bytecode）在运行时动态编译为机器码。Java 程序最初通过编译器（如javac）将源代码编译为字节码，字节码在 JVM 中解释执行。然而，由于解释执行每次都需要逐条翻译字节码指令为机器指令，这种方式效率较低。为了解决性能问题，JIT 编译器在程序运行时将热点代码编译为机器码，从而提高运行效率。JIT 编译器是 Java“编译型”和“解释型”语言的结合特性的重要体现之一。
python爬虫豆瓣排行榜
12-22
以下是一个使用Python爬虫获取豆瓣电影排行榜的示例代码： ```python import requests from bs4 import BeautifulSoup # 发送请求获取网页内容 res = requests.get('https://movie.douban.com/top250') # 解析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值