python：使用requests和bs4爬去豆瓣图书信息

最新推荐文章于 2023-03-16 10:58:49 发布

VIP文章 Young_Child

最新推荐文章于 2023-03-16 10:58:49 发布

阅读量960

点赞数

分类专栏： python 爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/young_child/article/details/78571810

版权

地址栏url格式
https://book.douban.com/tag/小说?start=0&type=T

真实url
https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=0&type=T

在地址栏显示的是小说可是真实的URL是个并不是图书2个字，而是一串乱码
可以用urllib.quote()进行转换

其中第一页start=0
每向后一页，+20

由于有的书的信息不全（比如当点评人数不足时，没有评分，所以用了很多的try，不然很容易会出错停止）


#读取每本书的信息
        for i in xrange(len(all_books)):
            try:
                book_name = all_books[i].find('a', att

最低0.47元/天解锁文章

优惠劵

Young_Child

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
python：使用requests和bs4爬去豆瓣图书信息

爬取豆瓣上的图书信息存入excel文件
复制链接

扫一扫

专栏目录

python循环爬取页面_使用Python和BS4循环抓取多个页面

weixin_42366954的博客

02-10

945

我是一名学生记者，对python不熟悉。我一直在试图找出如何使用for循环在我的大学每日犯罪日志的所有当前页面上抓取每个单独的犯罪日志。然而，它只是刮了第一页。我一直在看别人的密码和问题，真的搞不清我到底缺了什么。谢谢你的帮助。在import urllib.requestimport requestsimport csvimport bs4import numpy as npimport pand...

python网页爬虫requests和bs4应用

m0_58239511的博客

10-18

666

python爬虫工具讲解

参与评论您还未登录，请先登录后发表或查看评论

Python—爬取小说案例(bs4方法)

m0_65592409的博客

02-27

1000

一、源码： import requests from bs4 import BeautifulSoup #UA伪装 headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36' } url='这里自己输入你的url(因版权原因)' page_text=requests.get(

[爬虫]4.数据解析及应用之 bs4【爬取一部小说的文本】

雾狼的游戏屋

10-21

4879

解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储，列如图片在标签中，列表数据在标签中bs4数据解析的原理;1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取。

Python爬虫：bs4解析

Ohh24的博客

11-01

4160

python爬虫学习笔记：bs4解析

spider_python:python爬虫

04-29

spider_python前言如果想查看详细的教程，请关注微信公众号：AirPython普通的爬虫多线程爬虫Selenium 自动化爬虫Scrapy 框架爬虫爬取糗事百科的段子保存到 JSON 文件中爬取微信小程序论坛的数据登录豆瓣网并修改个性...

使用python获取豆瓣电影评论制作词云

最新发布

09-27

使用python获取豆瓣电影评论并制作词云所使用的包和模块包括： import requests from bs4 import BeautifulSoup import jieba from pyecharts.charts import WordCloud 目标网站：...

【爬虫高阶】豆瓣读书数据存入Mysql数据库

01-20

豆瓣读书数据存入Mysql数据库1. 豆瓣数据爬取2. 创建数据库表单3. 插入数据4. 全部代码 1. 豆瓣数据爬取这一部分之前的爬虫专项中已经有详细讲到过，这里直接给出代码如下，保留了输入的图书类型和要爬取页数的接口...

豆瓣最受欢迎的50部电影 - python爬虫

07-06

调用的库有 requests 和bs4 以及xlwt , 请记得安装以上的库.

DoubanBookSpider:爬取豆瓣书籍信息，并持久化到mysql数据库

05-18

DoubanBookSpider抓取豆瓣的书籍信息并持久化到mysql数据库这个爬虫的思路主要受@lanbing510 的启发，不同的是实现方面我自己用了requests库,持久化用了mysql，另外添加了日志模块logging。在应对豆瓣反爬虫方面，...

python—bs4模块解析

W0ngk，一个安全菜鸡，一直在模仿，尚未有超越。

03-16

2724

bs4模块详解

python爬虫学习（1）：使用bs4爬豆瓣电影信息

qq_43320868的博客

08-01

1561

使用bs4爬豆瓣电影信息前言：使用lxml爬豆瓣电影信息bs4语法学习：tag的属性及find（）方法的简介name属性attributes属性多值属性find方法使用bs4爬豆瓣电影主演前言：使用lxml爬豆瓣电影信息参考知乎：https://zhuanlan.zhihu.com/p/32037625 （仅供交流学习，侵权删），运用Requests+Xpath 爬取豆瓣电影，代码如下： i...

每日爬虫练习：bs4 爬虫实例爬取豆瓣电影top250

金鞍少年的博客

04-04

3006

一、前言 2020-04-3日爬虫练习每日一个爬虫小练习，学习爬虫的记得关注哦！、最近在学习数据解析之BeautifulSoup4库，所以写这篇爬虫来练练手，巩固知识点。 BeautifulSoup4知识点参考我博文：【爬虫学的好，基础少不了】：数据解析之BeautifulSoup4库二、需求：爬取豆瓣电影TOP250，并储存到本地CSV 三、技术路线：技术路线： 1.request...

爬虫2：python+BS4+正则表达式抓取豆瓣电影数据2.0

weixin_40756394的博客

07-15

941

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤 1.引入库 2.读入数据总结前言这次是对前几天的爬虫1进行代码的优化,和添加表格样式居中,最后再从表格把数据以制表的形式读取出来提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤 1.引入库 ...

Python爬虫初探（九）——爬虫之Beautifulsoup4实战（爬取豆瓣信息）

brilliant666的博客

08-04

3475

前面两章咱们介绍了Beautifuisoup4模块的简单使用，今天就用它来爬取豆瓣信息。话不多说，咱们开始吧。一、拿到url地址二、获取豆瓣数据三、保存文件需求: 爬取标题、评分、详情页的地址在做这些工作之前，需要提前导入好库: import requests import bs4 from bs4 import BeautifulSoup 一、拿到url地址二、获取豆瓣数据三、保存文件 ...

python采用requests+bs4爬取豆瓣top250电影信息

Gary的博客

07-17

5162

爬取豆瓣top250电影说明（链接：https://movie.douban.com/top250，可爬取一页或者多页（输出电影的正标题（肖申克的救赎），副标题（ The Shawshank Redemption）、其他名（ / 月黑高飞(港) / 刺激1995(台)）、导演和主演（导演: 弗兰克·德拉邦特 Frank Darabont 主演: 蒂姆·罗宾斯 Tim Robbins /…）、年份（1994）、国家（美国）、类型（犯罪剧情）、评分（9.7）、评分人数（2072430）、名言（对应下

python用bs4爬取豆瓣电影排行榜 Top 250的电影信息和电影图片，分别保存到csv文件和文件夹中

逆风笑的博客

05-30

2364

python用bs4爬取豆瓣电影排行榜 Top 250的电影信息和电影图片

Python爬虫：requests和bs4

m0_57864180的博客

03-19

2353

requests和bs4 requests的用法 requests是Python用于网络(http)请求的第三库，也是爬虫获取网络数据的重要工具，使用的时候需要导入 import requests 1. 向目标地址(网络地址)发送请求语法: requests.get(url,*,headers, proxies, timeout) - 以指定的方式给地址发送网络请求，返回值是服务器返回的响应对象参数说明: url - 字符串；请求的网络地址，可能是目标网站的网址也可能是数据接口

python爬虫-bs4爬虫豆瓣top250电影-excel存储

VictoriaSue的博客

07-31

471

不多说，直接上题目上程序

python爬电影排名用os bs4_编写python脚本利用requests+bs4模块爬取豆瓣电影top250的数据...

06-08

好的，您可以参考以下代码实现： ```python import requests from bs4 import BeautifulSoup import os # 获取豆瓣电影top250的页面信息 def get_html(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} try: response = requests.get(url, headers=headers) if response.status_code == 200: return response.text except requests.RequestException: return None # 解析页面信息，获取电影信息 def parse_html(html): soup = BeautifulSoup(html, 'lxml') movies = [] for item in soup.find_all('div', class_='item'): movie = {} movie['rank'] = item.em.text movie['title'] = item.find('span', class_='title').text movie['score'] = item.find('span', class_='rating_num').text movie['quote'] = item.find('span', class_='inq').text movies.append(movie) return movies # 将电影信息保存到本地文件中 def save_to_file(movies): if not os.path.exists('./douban_movies'): os.mkdir('./douban_movies') with open('./douban_movies/top250.txt', 'w', encoding='utf-8') as f: for movie in movies: f.write('排名：{}\n电影名称：{}\n评分：{}\n简介：{}\n\n'.format(movie['rank'], movie['title'], movie['score'], movie['quote'])) # 爬取豆瓣电影top250的数据 def main(): url = 'https://movie.douban.com/top250' html = get_html(url) movies = parse_html(html) save_to_file(movies) if __name__ == '__main__': main() ``` 该脚本会爬取豆瓣电影top250的排名、电影名称、评分和简介，并将其保存到本地文件中。您可以根据自己的需求进行修改。

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交