python爬取豆瓣图书top250实例学习 2.0（xpath学习）

最新推荐文章于 2023-03-09 13:00:30 发布
最新推荐文章于 2023-03-09 13:00:30 发布
阅读量400 收藏 2
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44169557/article/details/104800658
版权
这篇博客介绍了如何使用Python进行豆瓣Top250图书的爬取，重点讲解了XPath的选择和应用。作者通过实例演示了XPath的基本语法，包括选取节点、查找特定节点和选取未知节点的方法，帮助读者掌握XPath在解析网页数据时的高效技巧。
摘要由CSDN通过智能技术生成

python爬取豆瓣图书top250

1.0

用到requests爬虫库，用户代理User-Agent（Chrome的查看方式：地址栏输入about:version，回车），翻页，打印书名。

import requests
from lxml import etree

headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'
}
fp = open('./info.txt', 'a', encoding='utf-8')
for page in range(0, 226, 25):
    url = 'https://book.douban.com/top250?start={}'.format(page) # 翻页规则
    response = requests
最低0.47元/天 解锁文章
LZH0217
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫实例：爬取豆瓣电影TOP250
04-28
在本实例中，我们将深入探讨如何使用Python编程语言来实现一个爬虫，目的是抓取豆瓣电影网站上的“豆瓣电影TOP250”列表中的数据。这个列表汇集了最受用户好评的250部电影，是电影爱好者的重要参考。通过学习这个...
Python爬虫学习-----豆瓣top250（Xpath解析）
M10F的博客
06-24 436
解析数据利用的是xpath 处理数据利用json from urllib.request import urlopen as ur from lxml import etree as et import time import json last_no=[] last_img=[] last_title_cn=[] last_title_en=[] last_other=[] last_body...
爬虫-用xpath爬取豆瓣图书的短评
suxiaorui的博客
04-25 2232
Xpath的安装： 1.使用pip安装 $ pip install lxml 2.下载whl文件 $ pip install "文件名" Xpath的使用 导入lxml——>返回xml结构——>寻找数据 from lxml import etree url = "" s = etree.HTML(url) print(s.xpath()) 1.获取文本内...
python爬虫--使用正则表达式 or xpath爬取豆瓣读书评论
qq_33204297的博客
12-04 940
本菜鸟实践中发现，使用正则表达式爬取想要的内容真的是太香了—只需定位到你想爬取的内容及前后内容即可（此处有点绕，下面详细讲解） 以豆瓣读书《恶意》为例（此处心疼豆瓣一秒钟，总是成为菜鸟们练手的第一选择）： 图片左侧为评论内容，右侧为检查元素 爬取的内容为第一条评论：作为新手妈咪，在看到最终结局的时候很感慨。凶手体内毒液一般的恶意，也许就是源自当初母亲在生活中流露出来的偏见，应该也算是失败教育的受...
【菜鸟学Python】使用Xpath爬取豆瓣读书
weixin_30611509的博客
09-03 402
方法一：使用面向过程爬取1.0 import json import requests from lxml import etree url = "https://www.douban.com/doulist/1264675/?start=0" response = requests.get(url).content.decode() dom = etree.HTML...
使用Python的requests库和xpath爬取豆瓣top250每部电影的详细信息
DIIIIIIIO的博客
03-09 2128
使用Python的requests库和xpath爬取豆瓣top250每部电影的详细信息，亲测可用
基于scrapy爬取豆瓣top250
10-12
在这个"基于scrapy爬取豆瓣top250"的项目中，我们主要关注的是如何利用Scrapy来获取豆瓣电影Top250列表中的关键信息，包括电影的页数、电影名称、导演名字、主演名字以及评分。 首先，我们需要了解Scrapy的基本架构...
Python爬⾍入⻔--实例代码 | 4 爬取⾖豆瓣TOP250图书信息
05-14
### Python爬虫入门——实例代码：爬取豆瓣TOP250图书信息 #### 知识点一：Python爬虫基础及目标网站分析 在进行任何爬虫开发之前，理解目标网站结构至关重要。本实例中，目标是爬取豆瓣图书TOP250页面上的图书...
python爬取豆瓣前250个热名影片及其简介源码.rar
06-28
在本项目中，我们主要探讨如何使用Python编程语言和Scrapy框架来爬取豆瓣网站上的前250部热门电影的名称以及它们的简介。这是一个典型的数据抓取任务，可以帮助我们了解网络爬虫的基本工作原理，同时熟悉Scrapy这个...
Python利用Scrapy框架爬取豆瓣电影示例
12-23
【Python利用Scrapy框架爬取豆瓣电影示例】 Scrapy是一个功能强大的Python爬虫框架，设计用于高效地抓取网站数据并提取结构化信息。它适用于数据挖掘、信息处理和历史数据存储等任务。要安装Scrapy，可以使用Python...
Scrapy爬取豆瓣图书Top250代码实现.txt
07-18
爬取豆瓣网图书TOP250的信息，只有一级网页结构，可以帮助初学时入门。
java爬虫爬豆瓣图书,十一. 爬虫实战（Xpath）- 豆瓣图书TOP250的数据
weixin_35143502的博客
03-16 521
爬取网址：https://book.douban.com/top250爬取信息：书名、书名链接，评价、评价人数、一句话点评爬书名时，直接复制xpath会遇到一个坑。这是由于chrome、Firefox等浏览器为了对html文本进行规范化，自动在table标签下添加了tbody。(通过【查看网页源代码】和【审查】来进行比较，就能清楚看到上述结果。)所以，需要手动去除table后面的/tbody。原x...
xpath解析爬虫爬取豆瓣图书Top250的数据
m0_51385980的博客
05-13 2356
这是在学习阶段写的爬虫，爬取的是豆瓣图书Top250榜的名称，作者，评分等数据 第一次写文章，如果有什么问题，欢迎各位大佬进行指正，谢谢来踩。 1.首先需要明确自己想要爬取的内容，并在网页中查看数据是否真实存在，右键检查网页源码即可。 2.确定好目标后，点击一下下一页，对比两页的url，看能否找到规律。将有变化的地方用花括号表示 --->：https://book.douban.com/top250?start={} 3.开始编写代码，首先导入需要用到的包。这里我用到了requests模块；.
利用xpath解析器爬取豆瓣电影top250
capsule的博客
03-08 1万+
首先声明需要用的库，当然我还用到了os库，将工作路径修改到了我指定的路径。os.chdir(r"C:\Users…") from lxml import etree import requests import time import json 豆瓣top250总共有10页，每页25部电影，每页的url都是有规律的，第一页的url是“https://movie.douban.com/top25...
scrapy爬取豆瓣top250详情信息
Z_PEIJIN的博客
09-11 1970
​ 1、项目简介 本次项目利用scrapy爬虫框架实现抓取豆瓣top250的详情页信息，主要字段如下： 主要字段： Num——》电影排名 DetailLink——》详情页链接 Title——》电影标题 RatingNum——》评分 Votes——》评价人数 Director——》导演 Writer——》编剧 Actor——》主演 Type——》类型 Region——》制片国家 Language——》语言 ReleaseDate——》上映时间 RunTime——》片长 2、创建项目文件 创建一个scrapy
使用Xpath语法爬取豆瓣读书Top250
weixin_43987253的博客
04-30 1609
使用Xpath语法爬取豆瓣读书Top250 使用的软件是Spyder 网页地址：https://book.douban.com/top250?start=0 直接上代码： # -*- coding: utf-8 -*- """ Created on Thu Apr 30 18:35:17 2020 @author: ASUS """ import requests import csv fr...
爬虫练习-爬取豆瓣网图书TOP250的数据
热门推荐
莫莫先生的博客
01-07 1万+
爬取豆瓣网图书TOP250的数据，书名、链接、作者、出版社、出版时间、价格、评分、评语，并将数据存储于CSV文件中
爬取豆瓣TOP250
qq_46652932的博客
04-11 1万+
第一课《爬取豆瓣TOP250》 基于html跳转
爬虫一：获取豆瓣图书Top250（Requests+XPath）
Ceres的博客
07-06 1297
一：获取豆瓣图书Top250 代码： import requests from lxml import etree import time for i in range(10): url = 'https://book.douban.com/top250?start=' + str(25*i) data = requests.get(url).text html = ...
用python爬取豆瓣读书top250
最新发布
04-14
首先，需要准备一些必要的工具，包括 Python 的 requests 库和 lxml 库。你可以使用 pip 命令来安装这两个库： ``` pip install requests pip install lxml ``` 然后，就可以开始编写代码了。首先，我们需要导入这两个库： ```python import requests from lxml import html ``` 接下来，我们可以使用 requests 库来发送 HTTP 请求，获取豆瓣读书 top250 的网页内容： ```python url = "https://book.douban.com/top250" response = requests.get(url) ``` 如果请求成功，那么 response 变量中就包含了网页的内容。我们可以使用 lxml 库来解析 HTML，提取我们需要的信息。 下面是一个例子，展示了如何使用 lxml 库提取书名、评分和评价人数： ```python root = html.fromstring(response.text) # 书名 titles = root.xpath('//tr[@class="item"]/td[2]/div[1]/a/@title') # 评分 ratings = root.xpath('//tr[@class="item"]/td[2]/div[2]/span[2]/text()') # 评价人数 votes = root.xpath('//tr[@class="item"]/td[2]/div[2]/span[3]/text()') # 打印结果 for title, rating, vote in zip(titles, ratings, votes): print(f"书名: {title} 评分: {rating} 评价人数: {vote}") ``` 上面的代码中，我们使用了 XPath 语法来选择 HTML 元素。具体的，我们选择了包含书籍信息的 `tr` 元素
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值