python爬虫response对象及通用代码框架

最新推荐文章于 2024-09-27 16:20:58 发布
最新推荐文章于 2024-09-27 16:20:58 发布
阅读量762 收藏 4
点赞数 1
分类专栏： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Clown_pan/article/details/88928070
版权
本文介绍了Python爬虫中Response对象的属性，包括r.encoding和r.apparent_encoding的用法。同时，文章提及requests库的异常处理，并提供了一个通用的爬虫代码框架。还详细讨论了HTTP协议的基础知识，包括URL格式、HTTP方法如GET、POST、PUT、PATCH及其区别，强调了PATCH在节省网络带宽方面的优势。
摘要由CSDN通过智能技术生成

**

- 1、Response对象的属性

**

属性 说明
r.status_code HTTp请求的返回状态，200表示连接成功，404表示失败
r.text HTTp响应内容的字符串形式，即url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)
r. content HTTP 响应内容的二进制形式

response的编码意义
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)

r.encoding：如果header中不存在charset，则认为编码为IS0-8859-1 r.text根据r.encoding显示网页内容

r.apparent_encoding：根据网页内容分析出的编码方式。可以看作是r.encoding的备选
**

  • 2、requsets的异常

**

<
异常 说明
最低0.47元/天 解锁文章
为祖国健康工作60年
关注
专栏目录
一文让你读懂Python中的Response对象
这家伙很懒，什么都没有留下
12-28 3953
在Web开发中，HTTP响应是由服务器发送到客户端的，以回答客户端的HTTP请求。这个响应包含了状态码、响应头和响应体等信息。在Python中，我们可以使用各种Web框架来构建HTTP响应。例如，在Django框架中，我们可以使用HttpResponse对象来构建响应。Python中的Response对象是Web开发中不可或缺的一部分。通过创建和处理好Response对象，我们可以有效地与客户端进行通信，并确保应用程序的正确性和可靠性。
python爬虫（一）——爬虫框架设计
一名数据分析师
02-10 2711
爬虫框架
Python爬虫教程-04-response简介
热门推荐
肖朋伟
08-06 1万+
Spider-04-response简介 本小节介绍urlopen的返回对象，和简单调试方法 案例v3 研究request的返回值，输出返回值类型，打印内容 geturl：返回请求对象的url info：请求返回对象的meta信息 getcode：返回的http code py04v3.py文件：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/...
学习Python自动化，这5套框架你必须了解一下_python自动化框架
最新发布
m0_75067629的博客
09-27 1413
综上所述，在上述五种自动化测试的Python框架中，Pytest、Robot Framework和UnitTest可主要用于功能与单元测试，而Lettuce和Behave仅适用于行为驱动测试。通过进一步比较，我们认为：对于功能测试而言，Pytest是的。如果您是基于Python自动化测试的新手，那么Robot Framework是的入门工具。虽然其功能有所受限，但是它非常容易上手。对于基于Python的BDD测试而言，Lettuce和Behave同样优秀。
python语句的基本框架_Python常用框架源码学习笔记
weixin_39538847的博客
11-25 142
起因：公司的移动APPsaas后台项目基本稳定，但是总感觉不够精炼，和一些成熟的开源python框架比感觉缺乏美感，总想着重构后台代码，但是做的时候一团乱麻，不知道从何处下手；由于缺乏框架实现的经验，所以打算从使用的几个Python框架入手，先学习别人的框架设计思路；以此为为记，2017年3月31日。pony，一个ORM的mode实现（ORM中M的实现）pony的mode有点特殊，需要继承Data...
Python爬虫代码框架
s1124yy
01-10 1163
Python爬虫代码框架 原因 又是因为作业。。。视频：Python网络爬虫与信息提取 代码 1.爬取网页代码框架（requests库） 可以在网页根目录下放置robots.txt来规定爬取规则，如：https://www.jd.com/robots.txt import requests def getHTMLText(url): try: r = r
python爬虫——requests里面的response对象
weixin_45051787的博客
02-14 740
import requests class R(object): def __init__(self): url="http://www.baidu.com" header = { # 浏览器的版本 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64...
python爬虫框架代码：提供一些通用的爬虫功能和模块，方便开发者快速构建自己的爬虫程序.txt
08-19
通过给定的文件信息，我们可以总结出以下关于Python爬虫框架的关键知识点： ### Python爬虫框架概述 Python因其丰富的库支持以及简洁易读的语法特性，成为开发爬虫程序的首选语言之一。对于爬虫程序而言，其核心...
Python爬虫之scrapy框架介绍
m0_59485658的博客
11-28 1284
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。
Python Scrapy框架：通用爬虫之CrawlSpider用法简单示例
09-17
### Python Scrapy框架：通用爬虫之CrawlSpider用法详解 #### 一、引言 随着互联网数据的爆炸性增长，网络爬虫技术成为获取大量数据的重要手段之一。Python作为一门强大的脚本语言，拥有丰富的第三方库支持，其中...
也谈python爬虫
reset2021的博客
07-26 395
现在讲述python网络爬虫的资料已经很多啦，由于项目的需求，需要收集人脸相关数据集，于是便考虑用爬虫来补充部分数据集，下面将结合尚街拍（https://www.jiepai.net/）网站的具体爬虫过程来对pythonrequests 具体爬虫过程进行梳理总结。 1、首先对网站进行一个简单分析，结合目的本身，由于本需求重点关注的是人脸相关数据，所以选取网站上的明星穿衣子网页作为重点爬取对象（https://www.jiepai.net/dapei/mingxingchuanyi） 2...
ajax的基础（一）—— HttpRequest()
qq_41971356的博客
10-18 418
ajax function ajax(options) { //默认的get请求 var defaults = { type: 'get', url: '', data: {}, header: { 'Content-Type': 'application/x-www-form-urlencoded' }, success: function() {},
爬虫入门学习（二）——response对象
码银的博客
01-15 3003
在本篇文章，我们继续讨论request模块。从上一节（爬虫学习(1)--requests模块的使用-CSDN博客）中我们可以知道是 Python 的requests库中的一个方法，用于发送 HTTP GET 请求。那么使用requests.get(）之后传回的数据类型是什么呢？是Response对象，下面就让我们从认识一下Response对象开始学习吧😆！
Python最常用的7个框架讲解！
oldboyedu1的博客
01-12 1万+
另外，Django最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。它与其他框架最大的区别就是，鲜明独特的特性，支持orm，将数据库的操作封装成为Python，对于需要适用多种数据库的应用来说是个比较好的特性。Tornado和现在的主流Web服务器框架和大多数Python框架有着明显的区别，它是非阻塞式服务器，而且速度相当快。Scrapy是一个轻量级的使用Python编写的网络爬虫框架，这也是它与其他Python框架最大的区别。
爬虫扩展——浅谈Response对象
weixin_53919192的博客
04-23 1009
浅谈Response对象，有疑惑的可以看一下，希望对你有帮助
零基础转行Python必看！今年最火的五大Python框架
python0737的博客
12-11 283
从一开始，CherryPy就被证明是高效快速的，并被许多站点用于生产，无论是最简单的站点，还是有高要求的站点。Web2Py是一个开源、免费的web框架，用于敏捷开发，其中包括数据库驱动的web应用程序。web开发框架是一组工具，同时也提供了非常多的资源，供软件开发人员构建和管理网站、提供web服务、编写web应用程序。本文旨在提供关于Python语言的完整信息，谈到了五大Python框架及其特点，还讨论了如何根据业务需求使用这些web框架来开**亮的应用程序。Flask是一个微框架，最适合简单的小项目。
Python爬虫 | 认知爬虫基本原理
weixin_49345590的博客
11-11 371
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于腾讯云，作者：数据山谷 ( 想要学习Python？Python学习交流群：1039649593，满足你的需求，资料都已经上传群文件流，可以自行下载！还有海量最新2020python学习资料。 ) 学习爬虫的优势及必要性 Python爬虫是模拟浏览器打开网页，获取网页中需要的部分数据。 学习Python爬虫不仅充满趣味性，并垫基Python编程语言功底。可以说是入门IT行业的一条
用python写一个通用爬虫框架
04-01
作为AI语言模型，我可以给您提供一个简单的Python爬虫框架示例。以下是一个基于requests和BeautifulSoup库的通用爬虫框架： ```python import requests from bs4 import BeautifulSoup class Spider: def __init__(self, url): self.url = url self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} self.response = requests.get(url, headers=self.headers) self.soup = BeautifulSoup(self.response.content, 'html.parser') def get_links(self): links = [] for link in self.soup.find_all('a'): href = link.get('href') if href and href.startswith('http'): links.append(href) return links def get_images(self): images = [] for img in self.soup.find_all('img'): src = img.get('src') if src and src.startswith('http'): images.append(src) return images def get_texts(self): texts = [] for p in self.soup.find_all('p'): texts.append(p.text.strip()) return texts if __name__ == '__main__': spider = Spider('https://www.example.com') print(spider.get_links()) print(spider.get_images()) print(spider.get_texts()) ``` 这个爬虫框架首先通过requests库发送一个GET请求获取网页内容，然后使用BeautifulSoup库解析网页内容。它提供了三个基本的方法：get_links（获取所有链接），get_images（获取所有图片），get_texts（获取所有文本段落）。您可以根据需要添加其他方法或自定义方法来解析网页内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值