urllib库

最新推荐文章于 2024-08-25 23:24:39 发布
最新推荐文章于 2024-08-25 23:24:39 发布
阅读量507 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32392853/article/details/81519355
版权

目录

urllib库

python内置的http请求库
官方文档:https://docs.python.org/3/library/urllib.html
一个web测试网站：http://httpbin.org

1.urllib.request(请求模块)

返回目录

urlopen

发送请求


urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
  • url：链接,字符串　　
  • data：post方式表单，bytes类型
    • 　data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
    • 　bytes方法第一个参数字符串类型,第二个第二个参数指定编码格式,urlencode将参数字典转化为字符串
  • timeout：设置超时，单位秒,超过未响应会报URLError异常
  • context:必须是ssl.SSLContext类型，用来指定SSL设置
  • cafile和capath:分别指定CA证书和它的路径，请求HTTPS链接时会有用

Request

封装请求,得到请求对象,传给urlopen,请求对象属性和方法文档:https://docs.python.org/3/library/urllib.request.html#request-objects


request = urllib.request.Request('https://python.org')
response = urllib.request.urlopen(request)

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
  • headers:是一个字典，请求头
    • 通过修改User-Agent来伪装浏览器,默认的User-Agent是Python-urllib
    • headers也可以用add_header('请求头名称','值')方法来直接添加到封装后的请求
  • origin_req_host:请求方的host名称或者IP地址
  • unverifiable:请求是否是没有足够权限接收请求的结果，默认是False，意思有权限
  • method:字符串，用来指示请求使用的方法

urlretrieve(python2的遗留接口)

直接将远程数据下载到本地,方法返回一个包含两个元素的(filename, headers) 元组，filename 表示保存该到本地的路径，header表示服务器的响应头


urllib.request.urlretrieve(url[,filename[,reporthook[,data]]])
  • filename指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。）

  • reporthook是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。

    
def callback(dbnum, dbsize, size):
    '''回调函数
    dbnum: 已经下载的数据块
    dbsize: 数据块的大小
    size: 远程文件的大小
    '''
    percent = 100.0 * dbnum * dbsize / size
    if percent > 100:
        percent = 100
    print "%.2f%%"% percent

  • data指post到服务器的数据

Handler工具和OpenerDirector类

利用Handler来构建Opener，Opener可以使用open()方法，返回response.提供了高级的操作(比如Cookies处理、代理设置等）

  • BaseHandler类，它是所有其他Handler的父类，它提供了最基本的方法，例如default_open()、protocol_request()

  • 其他Handler
    • HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。
    • HTTPRedirectHandler：用于处理重定向。
    • HTTPCookieProcessor：用于处理Cookies。
    • ProxyHandler：用于设置代理，默认代理为空。
    • HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表。
    • HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题
      +　更多

  • 验证页面(用户名和密码)


from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener  
from urllib.error import URLError
 
username = 'username'
password = 'password'
url = 'http://localhost:5000/'
 
p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None, url, username, password)
auth_handler = HTTPBasicAuthHandler(p)
opener = build_opener(auth_handler)  # 用handle构建opener
 
try:
    result = opener.open(url)
    html = result.read().decode('utf-8')
    print(html)
except URLError as e:
    print(e.reason)
  • 代理

from urllib.error import URLError
from urllib.request import ProxyHandler, build_opener
# socks代理,全局代理,requests库相同,设置后正常请求就可
# import socket # pip3 install PySocks
# import scoks

# socks . set_default_proxy(socks.SOCKSS ,’ 127.0.0 . 1 ’, 9742)
# socket . socket = socks.socksocket


# http代理
proxy_handler = ProxyHandler({
    'http': 'http://127.0.0.1:9743',
    'https': 'https://127.0.0.1:9743'
    # 需要认证就http://uesrname:password@127.0.0.1:9743
})
opener = build_opener(proxy_handler)
try:
    response = opener.open('https://www.baidu.com')
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)
  • cookie

import http.cookiejar, urllib.request

cookie = http.cookiejar.CookieJar()  # 直接获取
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
for item in cookie:
    print(item.name+"="+item.value)

filename = 'cookies.txt'  # 写入文件
cookie = http.cookiejar.MozillaCookieJar(filename)  
# MozillaCookieJar是CookieJar的子类,可以用来处理Cookies和文件相关的事件，比如读取和保存Cookies，可以将Cookies保存成Mozilla型浏览器的Cookies格式.LWPCookieJar会保存成libwww-perl(LWP)格式的Cookies文件。
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

cookie = http.cookiejar.LWPCookieJar()  # 从文件中读取并利用cookie
cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
print(response.read().decode('utf-8'))

2.response对象

返回目录

是http.client.HTTPResponse类的实例

方法

  • read([amt]):读取并返回响应正文，或者返回下一个amt字节
  • readinto(b):将响应主体的下一个len（b）字节读入缓冲区b。返回读取的字节数
  • getheader(name, default=None):通过响应头的键返回相应的值,可以多个
  • getheaders():返回响应头
  • fileno():返回fileno底层套接字
  • geturl():返回检索到的资源的URL，通常用于确定是否遵循重定向
  • info():以email.message_from_string()实例的形式返回页面的元信息，例如标题
  • getcode():返回响应的HTTP状态代码

属性

  • status:服务器返回的状态代码,如200
  • reason:服务器返回的原因短语,如ok
  • version:服务器使用的HTTP协议版本
  • closed:如果流被关闭是True
  • debuglevel:一个调试钩子。如果debuglevel大于零，则在读取和解析响应时将消息打印到stdout
  • msg:http.client.HTTPMessage包含响应标头实例,包含reason信息

3.urllib.error(异常处理)

返回目录

URLError

继承自OSError类，是error异常模块的基类

  • reason，即返回错误的原因,reason属性返回的不一定是字符串，也可能是一个对象,例如超时返回socket.timeout类

HTTPError

URLError的子类，专门用来处理HTTP请求错误

  • code：返回HTTP状态码
  • reason：用于返回错误的原因
  • headers：返回请求头

ContentTooShortError(msg, content):不常用

4.urllib.parse(url解析模块)

返回目录

url解析模块，将url字符串拆分到其组件中，或者将url组件合并到url字符串中,支持file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet和wais等协议

urlparse()

实现URL的识别和分段


urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)
  • urlstring：这是必填项，即待解析的URL
  • scheme：它是默认的协议（比如http或https等),链接没有带协议信息，会将这个作为默认的协议
  • allow_fragments：即是否忽略fragment。如果它被设置为False，fragment部分就会被忽略，它会被解析为path、parameters或者query的一部分，而fragment部分为空

一个标准的连接格式:scheme://netloc/path;parameters?query#fragment,返回结果是一个ParseResult类型的对象，一个6元组,它包含6部分，分别是scheme(协议)、netloc(域名及端口)、path(文件路径)、params(参数)、query(查询组建)和fragment(片段标识符)

urlunparse()

将组建组合为一个url,接受的参数是一个长度为6可迭代对象,返回str类型url

urlsplit()

和urlparse()方法非常相似，不单独解析params这一部分，只返回5个结果。params会合并到path中

urlunsplit()

与urlunparse()类似,长度必须为5

urljoin()

一个base_url（基础链接）作为第一个参数，将新的链接作为第二个参数，该方法会分析base_url的scheme、netloc和path这3个内容并对新链接缺失的部分进行补充，最后返回结果

urlencode()

将字典序列化为GET请求参数(key1=value1&key2=value2形式)

parse_qs()

把一串GET请求参数，转回字典

parse_qsl()

把一串GET请求参数转化为元组组成的列表

quote()

将内容转化为URL编码的格式。URL中带有中文参数时，有时可能会导致乱码的问题，此时用这个方法可以将中文字符转化为URL编码

例如:


keyword = '壁纸'
url = 'https://www.baidu.com/s?wd=' + quote(keyword)

unquote()

进行URL解码

5.urllib.robotparse(robot.txt文件解析模块)

返回目录

Robots协议

名叫作网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取,通常是一个叫作robots.txt的文本文件，一般放在网站的根目录下

User-agent: *  # User-agent描述了搜索爬虫的名称，设置为*则代表该协议对任何爬取爬虫有效
Disallow: /  # Disallow指定了不允许抓取的目录，设置为/则代表不允许抓取所有页面
Allow: /public/ # Allow一般和Disallow一起使用，用来排除某些限制,这里表示所有页面不允许抓取，但可以抓取public目录

爬虫名称

BaiduSpider:百度;Googlebot:谷歌;360Spider:360搜索;YodaoBot:有道;其它

robotparse

rb = urllib.robotparser.RobotFileParser([robots.txt的url])  # 创键RobotFileParser对象
  • set_url()：用来设置robots.txt文件的链接
  • read()：读取robots.txt文件并进行分析,如果不调用这个方法，接下来的判断都会为False
  • parse()：用来解析robots.txt文件，传入的参数是robots.txt某些行的内容，它会按照robots.txt的语法规则来分析这些内容
  • can_fetch()：该方法传入两个参数，第一个是User-agent，第二个是要抓取的URL。返回的内容是该搜索引擎是否可以抓取这个URL，返回结果是True或False
  • mtime()：返回的是上次抓取和分析robots.txt的时间，这对于长时间分析和抓取的搜索爬虫是很有必要的，需要定期检查来抓取最新的robots.txt
  • modified()：它同样对长时间分析和抓取的搜索爬虫很有帮助，将当前时间设置为上次抓取和分析robots.txt的时间。

例子 :


from urllib.robotparser import RobotFileParser
 
rp = RobotFileParser()
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
#或rp.parse(urlopen('http://www.jianshu.com/robots.txt').read().decode('utf-8').split('\n'))
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
urllib3 库
07-29
Urllib3是一个功能强大，条理清晰，用于HTTP客户端的Python库。许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库urllib里所没有的重要特性
Urllib库
weixin_46617898的博客
01-06 1670
Urllb 库是 Pythn 中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 urlopen 函数： 在 Python 的 urllib 库中，所有和网络请求相关的方法，都被集到 urllib.request 模块下面。 urtopen 函数的基本使用： from urllib import request resp = request.urlopen('http://www.baidu.com') print(resp.read())
Urllib库及其常用的四个模块
最新发布
月光晒了很凉快的博客
08-25 782
urllib是 Python 标准库中的一个模块，用于处理 URL 及其相关操作。它提供了一组用于打开和读取 URL 的功能，支持 HTTP、HTTPS、FTP 等协议。
Python爬虫之urllib库
12-22
文章目录1、urllib库介绍2、request模块3、error模块4、parse模块 1、urllib库介绍   urllib库是Python内置的请求库，能够实现简单的页面爬取功能。值得注意的是，在Python2中，有urllib和urllib2两个库来实现请求...
Python爬虫基础之Urllib库
01-24
Python 爬虫基础之 Urllib 库 Python 的 Urllib 库是 Python 语言中最基本的网络请求库，提供了对 URL 的访问和处理能力。该库包含了多种功能，包括访问 URL、设置 headers、代理设置、超时时间设置等。 1. 访问 ...
nodejs urllib 库
07-02
以下是一些关于 `urllib` 库的关键知识点： 1. **安装**： 要使用 `urllib`，首先需要通过 npm（Node.js 的包管理器）进行安装。在命令行中输入： ``` npm install urllib ``` 2. **基本用法**： `urllib` ...
Python2/3中urllib库的一些常见用法
09-20
### Python2/3中urllib库的一些常见用法 #### Urllib库简介 Urllib库是Python中的一个重要组件，主要用于处理URLs。无论是对于网络爬虫还是自动化脚本开发，掌握Urllib的基本用法都是非常重要的。该库允许开发者...
Python爬虫（二）urllib库
05-17
本篇文章将深入探讨Python中的urllib库，它是Python标准库中的一个基础爬虫模块，提供了网络请求和处理的基本功能。 urllib库包含多个子模块，包括urllib.request、urllib.error、urllib.parse和urllib.robotparser...
Python——urllib库
无用之人的博客
08-03 457
一urllib库的基本使用 1读取静态网页 读取动态网页动态传送参数数据 1 post方式 2 get方式 二urllib库的高级使用 设置Headers 代理设置 超时设置 一、urllib库的基本使用1读取静态网页import urllib import urllib2 url = 'http://cuiqingcai.com/947.html' print urllib2.urlopen(ur
urllib库（一）
qq_40357974的博客
09-21 195
urllib库是python3内置的HTTP请求库，urllib库的四大模块： urllib.request:请求模块 urllib.error:异常处理模块 urllib.parse:URL解析模块 urllib.robotparser:robots.txt解析模块 1.快速抓取网页 import urllib.request # 发送URL其你去，获取响应 reponse = urllib...
python urllib库
weixin_44762483的博客
10-29 290
urllib库作用 urllib 库 是Python内置的 HTTP 请求库。urllib 模块提供的上层接口，使访问 www 和 ftp 上的数据就像访问本地文件一样。我们爬取网页的时候，经常需要用到这个库。 Urllib 库下的几种模块的基本使用 一、urllib.request模块 功能 urllib.request 模块提供了最基本的构造 HTTP （或其他协议如 FTP）请求的方法，利用它可以模拟浏览器的一个请求发起过程。利用不同的协议去获取 URL 信息。它的某些接口能够处理基础认证 （ Bas
python安装urllib库
08-15
要在Python中安装urllib库，你无需单独安装它，因为它是Python的内置库之一。你可以直接在你的代码中导入并使用它。下面是一个简单的示例： ```python import urllib.request response = urllib.request.urlopen('...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WY_记录

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值