python：使用requests和bs4爬去豆瓣图书信息

最新推荐文章于 2024-08-14 11:44:10 发布
最新推荐文章于 2024-08-14 11:44:10 发布
阅读量982 收藏 2
点赞数
分类专栏： python 爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Young_Child/article/details/78571810
版权
本文介绍了如何使用Python的requests和BeautifulSoup库爬取豆瓣图书页面上的信息，特别是面对部分书籍信息不全时，如何处理可能的错误。在实际爬取过程中，注意到豆瓣页面的实际URL编码与显示的不一致，需要使用urllib.quote()进行转换。由于豆瓣图书标签页的页数并不总是准确，采用死循环和try_times机制来确保能正确结束爬虫，即使遇到没有图书信息的页面也能继续尝试。完整代码可在GitHub上查看。
摘要由CSDN通过智能技术生成

地址栏url格式
https://book.douban.com/tag/小说?start=0&type=T

真实url
https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=0&type=T

在地址栏显示的是小说可是真实的URL是个并不是图书2个字，而是一串乱码
可以用urllib.quote()进行转换

其中第一页start=0
每向后一页，+20

由于有的书的信息不全（比如当点评人数不足时，没有评分，所以用了很多的try，不然很容易会出错停止）


#读取每本书的信息
        for i in xrange(len(all_books)):
            try:
                book_name = all_books[i].find('a', att
最低0.47元/天 解锁文章
Young_Child
关注
专栏目录
Python爬虫初探（九）——爬虫之Beautifulsoup4实战（爬取豆瓣信息）
brilliant666的博客
08-04 3527
前面两章咱们介绍了Beautifuisoup4模块的简单使用，今天就用它来爬取豆瓣信息。话不多说，咱们开始吧。 一、拿到url地址 二、获取豆瓣数据 三、保存文件 需求: 爬取标题、评分、详情页的地址 在做这些工作之前，需要提前导入好库: import requests import bs4 from bs4 import BeautifulSoup 一、拿到url地址 二、获取豆瓣数据 三、保存文件 ...
爬取豆瓣小说
我的学习日志
03-07 603
import requestsimport timefrom bs4 import BeautifulSoupurl='https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=0&type=T'urls=['https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start={}'.format(str...
python 实战（3） 抓取豆瓣影评详细信息【使用bs4】
霍城延的随笔
06-19 699
import os,bs4,requests import lxml os.makedirs("DowBan",exist_ok=True) url="https://movie.douban.com/review/best/?start=10"; res=requests.get(url) html=res.text; #html= html.decode('utf-8'); soup=...
python爬取豆瓣电影数据
最新发布
hhq2002322的博客
08-14 299
豆瓣这个网站相信大家并不陌生，大家一定想知道哪些电影类型是比较好看的，哪些电影是评分高的，今天的主题就是教大家爬取豆瓣电影的电影数据。
Python随记（27）bs4爬取豆瓣250
AI路漫漫
04-01 311
一天会有多少爬豆瓣的人呢
使用Requests和Lxml库，爬取豆瓣读书TOP250
Programmer_huangtao的博客
10-20 1198
from lxml import etree import requests import csv #导入需要的库 fp = open('C://Users/Administrator/Desktop/book.csv','wt',newline='',encoding='utf-8') #创建csv文件，编码为utf-8 writer = csv.writer(fp) writer.wri...
python爬电影排名用os bs4_编写python脚本利用requests+bs4模块爬取豆瓣电影top250的数据...
weixin_42378997的博客
02-21 1103
首先，爬取地址为以下地址：我们的目标是爬取一页或者多页，并且输出电影的正标题，副标题、其他名、导演和主演、年份、国家、类型、评分、评分人数、名言等信息。首先要做的是引入requests和bs4两个模块，另外我们还使用到了正则表达式模块re。import requests # 获取网页内容from bs4 import BeautifulSoup # 解析网页内容import re # 正则匹...
day19 学习python爬虫——requests和bs4
weixin_50758400的博客
10-18 410
*day19 学习python爬虫——requests(使用详解、请求详解三种情况)和bs4（请求详解）、json数据解析
Python爬虫之requests和bs4
qq_43517596的博客
08-11 1374
Python爬虫之requests和bs4 1. requests使用方法 1.1 发送请求 requests:Python基于http协议进行网络请求的第三方库 requests.get(url,,headers) - 发送get请求 requests.post(url,,headers) - 发送post请求 参数： url - 请求地址（一个网站的网址，接口的地址，图片地址等） headers - 设置请求头（设置cookie和User-Agent的时候用） params
python爬虫学习（1）：使用bs4爬豆瓣电影信息
qq_43320868的博客
08-01 1587
使用bs4爬豆瓣电影信息前言：使用lxml爬豆瓣电影信息bs4语法学习：tag的属性及find（）方法的简介name属性attributes属性多值属性find方法使用bs4爬豆瓣电影主演 前言：使用lxml爬豆瓣电影信息 参考知乎：https://zhuanlan.zhihu.com/p/32037625 （仅供交流学习，侵权删），运用Requests+Xpath 爬取豆瓣电影，代码如下： i...
Python爬取豆瓣图书信息
12-19
爬取指定标签List下评分8.5分以上的图书信息，包括书名、作者、评分、简介，并保存到excel，以标签分类，放到不同的sheet中。核心代码： title= book.find_element_by_xpath('.//a[1]').text #获取书名 zuozhe= book.find_element_by_xpath('.//div[1]').text.split('/',1)[0] jianjie= book.find_element_by_xpath('.//p[1]').text #获取简介 worksheet.write(i,0,fenshu); #分数写入第i行的第一列 worksheet.write(i,1,title); #书名写入第i行的第二列 worksheet.write(i,2,zuozhe); #作者写入第i行的第三列 worksheet.write(i,3,jianjie); #简介写入第i行的第四列
python网络爬虫之四简单爬取豆瓣图书项目
weixin_30323631的博客
04-12 388
一.爬虫项目一： 豆瓣图书网站图书的爬取： import requests import re content = requests.get("https://book.douban.com/").text #注：此时我们打印输出结果，可以看到输出我们的网页字符串： # print(content) #然后我们编辑匹配豆瓣图书网站抓取图书所用到的正则表达式。 p...
Python—爬取小说案例(bs4方法)
m0_65592409的博客
02-27 1047
一、源码： import requests from bs4 import BeautifulSoup #UA伪装 headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36' } url='这里自己输入你的url(因版权原因)' page_text=requests.get(
requests-beautifulsoup-re爬取股票行情信息
betonme的博客
11-07 1229
问题： 想利用python技术爬取网上股票的行情信息 目标网站： 东方财富网 http://quote.eastmoney.com/stocklist.html 百度金融 https://gupiao.baidu.com/stock/ 思路： 观察百度金融网站，在它的链接后加上股票id.html就可以获得该股票的行情信息页面 观察东方财富网的源代码可知股票id信息镶嵌在HTML...
requests爬取豆瓣前250部高分电影
jackspare的博客
12-30 1248
这两天又写了一个爬取豆瓣前250部高分电影的爬虫，并把电影名字和图片保存到本地。 用的是requests和BeautifulSoup。import requests from bs4 import BeautifulSoupdef get_(url): ''' 获得电影的名字，并且保存电影的图片 ''' name_list = [] turn = 0
使用requests + bs4抓取B站web端Python视频数据
正心全栈编程
07-17 2265
使用requests + bs4抓取B站web端Python视频数据 目标：掌握bs4抓取数据的套路 抓取关键词: 视频图片 播放量 上传时间 作者: import requests from bs4 import BeautifulSoup def get_html(): url = "https://www.bilibili.com/" headers ...
requests + re 爬去网站图书信息（Python）
lijz的博客
06-09 774
# -*- coding: utf-8 -*-import requestsimport re, jsonif __name__ == '__main__':    content = requests.get('https://book.douban.com/').text    reg_base = '<ul.*?list-col list-col5 list-express slide...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值