HTTP库之urllib库

最新推荐文章于 2023-08-09 14:01:54 发布
最新推荐文章于 2023-08-09 14:01:54 发布
阅读量447 收藏
点赞数
分类专栏： # Python爬虫 文章标签： python python爬虫 urllib库基础 request模块 error
学习之路长且漫，长情与君总会见！
本文链接：https://blog.csdn.net/Aaron_Miller/article/details/106062170
版权

文章目录

本文涉及的主要内容为urllib类库下的request、error、parse模块

一、介绍

  python2中分urllib、urllib2，python3中为urllib。
  Python内置的HTTP请求库（默认安装）。

二、四大模块

  • request：打开URL（模拟发送请求，可理解为输入浏览器输入网址回车一样）
  • error：异常处理，保证程序不会异常中止
  • parse：解析URL（拆分、解析、合并等）
  • robotparser：识别网站robots.txt文件

三、实例

3.1 urlopen() 基本请求

3.1.1 抓取网页源码【例】

（抓取csdn站点源代码）

import urllib.request

response = urllib.request.urlopen("https://csdn.net")
print(response.read().decode('utf-8'))

在这里插入图片描述

3.1.2 查看返回类型【例】
import urllib.request

response = urllib.request.urlopen("https://csdn.net")
print(type(response))

在这里插入图片描述

3.1.3 读取返回状态码【例】
import urllib.request

response = urllib.request.urlopen("https://csdn.net")
print(response.status)

在这里插入图片描述

3.1.4 获取请求头信息【例】
import urllib.request

response = urllib.request.urlopen("https://csdn.net")
print(response.getheaders())

在这里插入图片描述

A data数值传递【例】
import urllib.request
import urllib.parse

# 使用data需将bytes()方法将参数转化成字节流编码格式内容，第一个参数需要urllib.parse模块中的urlencode()方法将参数字典转化成字符串，第二个指定编码格式
data = bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf-8')
response = urllib.request.urlopen('http://httpbin.org/post',data=data)
print(response.read())

在这里插入图片描述

B timeout超时【例】

（设置超时1s后服务器没响应抛出异常，该异常属于urllib.error）

import urllib.request

response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
print(response.read())

在这里插入图片描述

a. 超时处理【例】

可以通过超时时间控制网页长时间未响应时跳出异常，响应超时跳过抓取。(超时处理)

import socket
import urllib.request
import urllib.error
try:
	response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
# 捕获URLError异常
except urllib.error.URLError as e:
	# 判断异常时socket.timeout类型（超时异常）
	if isinstance(e.reason,socket.timeout):
		print('Time Out')

3.2 request请求

3.2.1 抓取网页源码【例】
import urllib.request

# 构造数据结构，调用Request类将请求独立成对象request
request = urllib.request.Request('https://csdn.net')
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

在这里插入图片描述

自定义请求头（request多参数传递）【例】
from urllib import request,parse

url = 'http://httpbin.org/post'
headers = {
	# 伪装浏览器
	'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0',
	'Host':'httpbin.org'
}
# 定义data数据对象
dict = {
	'name':'Germey'
}
# 将data数据转字节流（bytes()方法和urlencode()方法）
data = bytes(parse.urlencode(dict),encoding='utf-8')
# request多参数构造
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))

在这里插入图片描述

3.3 request请求高级用法

3.3.0 Handler介绍

  包含各种处理器，专门处理登录验证、cookies、代理设置

  • urllib.request模块中的BaseHandler类是其它Handler的父类

（其它各种Handler子类继承BaseHandler类）

  • HTTPRedirectHandler：处理重定向
  • HTTPCookieProcessor：处理Cookies
  • ProxyHandler：设置代理，默认为空
  • HTTPPasswordMgr：管理密码，维护用户名和密码表
  • HTTPBasicAuthHandler：管理认证（Basic Auth认证问题）
3.3.1 Basic Auth认证页爬取【例】

（如爬取如下Basic认证页面，需要输入用户名和密码才能访问具体网页）
在这里插入图片描述
》》如果正常的爬取该页面时会报如下错误（HTTP状态码401，需要授权登录）
在这里插入图片描述

from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener
from urllib.error import URLError

# 定义目标对象信息
username = 'Kevin'
password = '123456'
url = 'http://192.168.226.129/'

# 处理登录登录验证
# 创建密码管理对象,保存需要处理的用户名和密码
p = HTTPPasswordMgrWithDefaultRealm()
# 利用add_password类添加账户信息，第一个参数realm是与远程服务器相关域信息一般都是None（建立处理验证的Handler）
p.add_password(None, url, username, password)
# 解决认证问题（构建一个HTTP用户名/密码验证的HTTPBasicAuthHandler处理器对象，参数是创建的密码管理对象）
auth_handler = HTTPBasicAuthHandler(p)
# 利用build_opener()方法构建opener，发送请求时相当于验证成功
opener = build_opener(auth_handler)

# 处理异常
try:
	result = opener.open(url)
	html = result.read().decode('utf-8')
	# 获取到的结果就是验证后的源码信息
	print(html)
# 捕捉错误对象
except URLError as e:
	# 打印错误代码
	print(e.code)
	# 打印错误原因
	print(e.reason)

（认证正确返回认证后的源码：）
在这里插入图片描述
（认证错误返回错误代码和原因：）401，需要用户授权验证，这里是用户名密码错误
在这里插入图片描述

Tips：这里的站点是为了方便测试自己搭建的，先搭建一个Apache，然后设置访问认证即可，详情可参考：LAMP环境搭建、Apache访问认证

3.3.2 添加使用代理【例】

(本地添加一个代理，运行在9743端口之上)

from urllib.request import ProxyHandler,build_opener
from urllib.error import URLError

# 使用ProxyHandler设置添加代理
proxy_handler = ProxyHandler({
	'http':'http://127.0.0.1:9743',
	'https':'https://127.0.0.1:9743'
})
# 利用build_opener()方法和Handler构造opener
opener = build_opener(proxy_handler)

try:
	response = opener.open('https://www.baidu.com')
	print(response.read().decode('utf-8'))
except URLError as e:
	print(e.reason)

在这里插入图片描述

勾选了自动检测设置依旧报错
在这里插入图片描述

A CookieJar基础介绍

使用爬虫时，会用到Cookie进行模拟登录访问，会使用到http.cookiejar库中的CookieJar来实现，CookieJar有一些子类分别是FileCookieJar，MozillaCookieJar，LWPCookieJar
（一般使用CookieJar()，如果和本地交互使用MozillaCookieJar()或LWPCookieJar() ）

  • CookieJar：管理HTTP cookie值、存储HTTP请求生成的Cookie，向传出的HTTP请求添加cookie对象。整个cookie存储在内存中，对cookie进行实例垃圾回收后cookie也将丢失
  • FileCookieJar(filename, delayload=None, policy=None)：CookieJar派生而来，用来创建FileCookieJar实例，检索Cookie信息并存储到文件中。（fielname：存储cookie的文件名；delayload：为True时支持延时访问文件，即只有需要时才读取文件或在文件中存储数据）
  • MozillaCookieJar(filename, delayload=None, policy=None)：FileCookieJar派生而来，创建与Mozilla浏览器cookies.txt兼容的FileCookieJar实例。
  • LWPCookieJar(filename, delayload=None, policy=None)：从FileCookieJar派生来，创建与libwww-perl标准的Set-Cookie3文件格式兼容的FileCookieJar实例
3.3.3 获取网站cookie【例】

（使用Handler将网站自定义的cookie获取下来）

import http.cookiejar,urllib.request
from urllib.request import build_opener

# 声明CookieJar对象,管理存储HTTP cookie值
cookie = http.cookiejar.CookieJar()
# 处理Cookie
c_handler = urllib.request.HTTPCookieProcessor(cookie)
# 使用build_opener()方法构建opener
opener = build_opener(c_handler)
response = opener.open('https://www.baidu.com')
print(cookie)	# 演示理解用
print('\n')		# 演示理解用
for item in cookie:
	print(item.name+"="+item.value)

（为了方便理解for循环中自定义的cookie，下面黄框内是未经过处理的Cookie）
在这里插入图片描述

3.3.4 生成Mozilla兼容cookie【例】
from urllib.request import HTTPCookieProcessor,build_opener
import http.cookiejar,urllib.request

# 定义保存文件
filename = 'cookies_file.txt'
# 声明与Mozilla浏览器兼容的FileCookieJar实例
cookie = http.cookiejar.MozillaCookieJar(filename)
# 处理cookie
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = build_opener(handler)
response = opener.open('https://www.baidu.com')
# 保存cookie到文件（ignore_discard:即使cookie将要呗丢弃也保存； ignore_expires:即使该文件中的cookie已过期也保存）
cookie.save(ignore_discard=True, ignore_expires=True)

（运行后本地和运行python脚本同级目录下会生成对应的文件）
在这里插入图片描述

3.3.5 生成LWP格式cookie
from urllib.request import HTTPCookieProcessor,build_opener
import http.cookiejar,urllib.request

filename = 'cookies_file.txt'
cookie = http.cookiejar.LWPCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

在这里插入图片描述

3.3.6 读取使用cookie

》》本地先生成一个LWP格式的cookie文件cookies.txt（代码如3.6.5）
在这里插入图片描述
》》读取使用本地的cookie去访问指定站点

import http.cookiejar, urllib.request
from urllib.request import build_opener

# 指定使用读取LWP格式的cookie文件
cookie = http.cookiejar.LWPCookieJar()
# load()方法读取本地cookie文件
cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True)
# 构造处理cookie的HTPPCookieProcessor处理器对象对本地cookie进行处理
handler = urllib.request.HTTPCookieProcessor(cookie)
# 构建opener
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.csdn.net')
print(response.read().decode('utf-8'))

》》成功使用本地的cookie读取指定站点的源代码
在这里插入图片描述

3.4 异常处理

为了防止程序因报错而异常终止，urllib的error模块定义了由request模块产生的异常。

3.4.1 URLError

urllib库的error模块，由request模块产生的异常都可以由这个捕获这个类来处理。

from urllib import request,error

try:
	# 打开一个不存在的页面
	response = request.urlopen('https://csdn.net/1')
except error.URLError as e:
	print(e.reason)

在这里插入图片描述

3.4.2 HTTPError

URLError的子类，专门处理HTTP请求错误，如认证请求失败等。

三个属性
  • code：返回HTTP状态码
  • reason：同父类一样，返回错误原因
  • headers：返回请求头

（捕获错误异常，输出三个错误状态码、错误原因、返回头信息）

from urllib import request,error

try:
	response = request.urlopen('https://csdn.net/1')
except error.HTTPError as e:
	print(e.reason, e.code, e.headers, sep='\n')

在这里插入图片描述

3.4.3 捕获子类、父类错误

由于HTTPError是URLError的子类，我们可以先捕获子类错误然后再捕获父类错误

（如果不是HTTPError异常就是URLError异常）

from urllib import request,error

try:
	response = request.urlopen('https://csdn.net/1')
except error.HTTPError as e:
	print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:
	print(e.reason)
else:
	print('Request Successfully')

在这里插入图片描述

3.5 解析链接

3.5.1 urlparse()（拆解URL）

url识别和分段

from urllib.parse import urlparse

result = urlparse('https://www.baidu.com/index.html;user?id=5#command')
print(type(result), result)

(拆分为6部分)

  • scheme（协议）
  • netloc（域名）
  • path（访问路径）
  • params（参数）
  • query（查询条件）
  • fragment（锚点）
    在这里插入图片描述
A URL字段获取

（用属性/索引获取）
在这里插入图片描述

3.5.2 urlunparse() （拼接URL）

实现对URL构造，urlunparse()中接收的必须是6位的参数

from urllib.parse import urlunparse

data=['https','www.baidu.com','index.html','user','a=6','']
print(urlunparse(data))

在这里插入图片描述

3.5.3 urlsplit()（拆解URL）

拆解URL，返回5个结果，params合并到路径

from urllib.parse import urlsplit

result = urlsplit('https://www.baidu.com/index.html;user?id=5#command')
print(result,'\n')
# 可以使用属性或者索引取值
print(result.path)

在这里插入图片描述

3.5.4 urlunsplit()（拼接URL）

将链接各个部分拼接成完成链接

在这里插入图片描述

3.5.5 urlencode()（构造URL get请求）

通过字典构造get请求

在这里插入图片描述

3.5.6 parse_qs() （提取URL get请求参数-字典）

反序列化get请求参数，转换为字典

在这里插入图片描述

3.5.7 parse_qsl()（提取URL get请求参数-元组）

反序列化get请求参数，转换为字典

在这里插入图片描述

3.5.8 quote()（URL编码）

将内容转换为URL编码的格式

在这里插入图片描述

3.5.9 unquote()（URL解码）

在这里插入图片描述

風月长情
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Go中net/http的使用
月守护的博客
09-19 517
Go语言内置的net/http包十分的优秀，提供了HTTP客户端和服务端的实现。 这里主要讲***服务端***的实现 默认的Server ListenAndServe使用指定的监听地址和处理器启动一个HTTP服务端。处理器参数通常是nil，这表示采用包变量DefaultServeMux作为处理器。 Handle和HandleFunc函数可以向DefaultServeMux添加处理器。 http.H...
cpp-http 库的使用
三十的南瓜饭的博客
09-21 6650
文章目录前言`cpp-http` 库简介`cpp-http` 库使用介绍http 客户端搭建步骤http 服务端搭建步骤`cpp-http` 库示例服务端实现客户端实现参考资料 前言 最近在做的一个项目需要使用到 HTTP 协议，在网上查了很久，也结合了之前学长做的项目，发现 cpp-http 库使用挺多的，所以就边学边做笔记，顺便分享出来（我觉得知识之所以叫知识，就是因为它能被记录并能被传播，为人所知，为人所识）。 我准备把这个学习记录做成一个系列文章，这个系列里面，我会介绍从 HTTP 协议诞生到目前的
http库
qq_34893654的博客
02-26 169
当我们使用 Go 语言进行 Web 开发时，不可避免地要使用到 http 包。该包提供了 HTTP 客户端和服务器的实现，可以轻松地编写 HTTP 服务器和客户端。在本节中，我们将学习如何使用 Go 语言中的 http 包来编写 Web 服务器和客户端。基本使用使用 http 包创建 Web 服务器很容易。下面是一个简单的 Web 服务器示例，它将响应客户端请求并返回 "Hello, World!该示例中，我们使用函数将 URL 根路径与一个匿名函数关联起来。
Http请求 常用类库
chy1984的博客
08-31 1160
非单例模式下，OkHttp的性能更好，HttpClient创建连接比较耗时，因此多数情况下这些资源会写成单例模式；单例模式下，HttpClient速度略快一些，二者性能相差不大。很多框架都集成了 httpcomponents-client、OkHttp，比如springboot。如果需要支持异步请求、文件上传，还需要额外引入依赖。一般使用同步请求即可。
Python--HTTP 库【requests库】
最新发布
weixin_59180442的博客
08-09 213
requests是一个常用的 Python HTTP 库，用于发送 HTTP 请求和处理响应。它提供了简洁且易于使用的接口，使得在 Python 中进行网络通信变得非常方便。
urllib3 库
07-29
Urllib3是一个功能强大，条理清晰，用于HTTP客户端的Python库。许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库urllib里所没有的重要特性
urllib3：一个具有线程安全连接池，支持文件 post，清晰友好的 HTTP 库。-python
06-18
urllib3：一个具有线程安全连接池，支持文件 post，清晰友好的 HTTP 库。 urllib3 urllib3 是一个强大的、对 Python 友好的 HTTP 客户端。 许多 Python 生态系统已经使用 urllib3，您也应该使用。 urllib3 带来了 ...
urllib3一个具有线程安全连接池支持文件post清晰友好的HTTP库
08-09
urllib3：一个具有线程安全连接池，支持文件 post，清晰友好的 HTTP 库。
python爬虫之urllib库常用方法用法总结大全
01-20
本文主要介绍的是关于python urllib库常用方法用法的相关内容，下面话不多说了，来一起看看详细的介绍吧 1、读取cookies import http.cookiejar as cj,urllib.request as request cookie = cj.CookieJar() handler ...
urllib库python http 请求测试
07-11
主要用在python 做http请求测试时调用的urllib库，方便测试
HTTP POST库
04-02
支持HTTP POST,FTP,HTTPS等等
c++ HTTP协议库 httplib
04-03
c++封装的http协议库，里面有详细的样例，可作为不错的学习参考资料。
轻量小巧http框架http库支持https
08-02
轻量小巧http框架http库支持https，非原创，整理好也不容易，收1分 eclipse用很合适，不喜欢AS的可以试试
7.2 HTTP协议与相关库（如requests, urllib等)
Andy0214的专栏
06-08 5141
HTTP（超文本传输协议）是一个用于传输超文本（如HTML页面）的协议，它运行在TCP/IP协议族之上。HTTP协议定义了客户端（通常是Web浏览器）与服务器之间的通信方式。在本节中，我们将学习HTTP协议的基本概念并熟悉Python中常见的HTTP库，例如requests和urllib。
httplib 库介绍与使用
热门推荐
houxian1103的博客
01-06 1万+
说明： cpp-httplib 是个开源的库，是一个c++封装的http库，使用这个库可以在linux、windows平台下完成http客户端、http服务端的搭建，这是一个多线程“阻塞”HTTP 库。 使用起来非常方便，只需要包含头文件httplib.h即可。 源码库地址：https://github.com/yhirose/cpp-httplib httplib 库基本结构： 发送请求Request类的组成： class Request { std::string method; // 请求方法
php http库,7个最好的PHP Http客户端库
weixin_39794213的博客
03-17 1555
本文概述许多Web应用程序都依赖于第三方应用程序通过REST API提供的服务。这些应用程序提供了某些终结点, 你可以在这些终结点上根据数据, 请求的方法等来检索, 更新或删除信息。但是, 如果没有像样的Http客户端来为你执行请求, 就无法在服务器中实现。有许多库可以实现这一目标, 那么什么是最适合你的库？根据你的要求, 你需要根据库提供的功能自行进行设计。在本文中, 我们将与你分享PHP最好的...
关于golang的http库及常用库
书山有路勤为径
09-01 1万+
go语言作为一个面向网络 面向服务 高并发的一门通用语言 http库是非常重要的 下面我们来了解http库及其他标准库 http库可以对客户端做很多的工作 下面我们来看一下 func main() { resp, err := http.Get("https://mp.csdn.net")//网址是否能够打开 如果能打开返回结构体指针 if err != nil{ //错误返回报...
http解析库http-parser
king_weng的博客
04-07 4715
一、http-parser简介 1、简介 http-parser是一个用C编写的HTTP消息解析器，可以解析请求和响应，被设计用于高性能HTTP应用程序。它不会进行任何系统调用及内存分配，它不会缓冲数据，它可以被随时中断。根据你的体系结构，每个消息流只需要大约40个字节的数据(在每个连接的web服务器中。 2、特征 不依赖第三方库 处理持续流 分块解码 支持Upgrade 防止缓冲区溢出攻击 3、可以从HTTP消息中解析下列信息 报头域及值(Header fields and...
【python 学习】HTTP协议，urllib请求简单入门详解（入坑谨慎）
Smilelulinlin的博客
03-11 483
【python 学习】HTTP协议，urllib请求简单入门详解（入坑谨慎） python 学习记录 菜鸟程序员一枚，从现在开始记录python学习，并将工作中遇到的问题和程序进行整理输出，方便自己的记忆。 1 、HTTP协议 HTTP协议（HyperText Transfer Protocol，超文本传输协议）是因特网上应用最为广泛的一种网络传输协议，所有的WWW文件都必须遵守这个标准。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。 web服务器 Apach
python2 urllib库
06-07
在 Python 2 中，可以使用 urllib2 库进行 URL 操作，包括发送 HTTP 请求和处理响应。以下是一个示例： ```python import urllib2 # 发送 GET 请求 response = urllib2.urlopen('http://www.example.com/') ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

風月长情

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值