爬虫02-urllib使用（简）

最新推荐文章于 2024-03-11 22:34:46 发布
最新推荐文章于 2024-03-11 22:34:46 发布
阅读量124 收藏
点赞数
分类专栏： python爬虫 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43165880/article/details/116394797
版权

urllib
urllib是python内置的HTTP请求库，感觉现在不常用这个，不好用，但是了解爬虫的基础
四个模块

  • urllib.request ：请求模块
  • urllib.error ：异常处理模块（保证程序不会意外终止）
  • urllib.parse ：url解析模块（拆分、合并等）
  • urllib.robotparser ：robots.txt解析模块

1. 请求模块urlopen

1.1 urlopen的get请求

发送requests请求给服务器 :

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

#输出的百度首页源代码
import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
print(response.read().decode('utf-8'))

在这里插入图片描述

1.2 urlopen的post请求
import urllib.parse
import urllib.request
#需要传入data参数（以下是测试）
data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
response = urllib.request.urlopen('http://httpbin.org/post', data=data)
print(response.read())

在这里插入图片描述
（结果也是读取网页的源代码。要了解的是，post请求需要传入参数）

1.3 timeout超时设置
import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://www.baidu.com', timeout=0.01)
    '''必须要在0.01s得到这个响应，如果得不到，抛出异常'''
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):  #判断e的原因，如果是timeout异常，就打印出来
        print('TIME OUT')
#这里只是测试，0.01s时间太短，没有这么快响应便输出TIME OUT

输出：TIME OUT

2. 响应response

2.1 响应类型
import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(type(response)) #输出类型

<class ‘http.client.HTTPResponse’>

2.2 状态码、响应头

判断响应是否成功的标志

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(response.status,'\n')        #获取状态码
print(response.getheaders(),'\n')  #获取响应头。数组形式
print(response.getheader('Server'))  #获取特定响应头。
#获取这个网页的服务器（Server）是用什么

在这里插入图片描述

2.3 response.read() 响应体
import urllib.request

response = urllib.request.urlopen('https://www.python.org')
'''获取响应体的内容'''
print(response.read().decode('utf-8'))

#需要调用decode转换编码

在这里插入图片描述

2.4 更复杂些Request

urlopen没有提供headers等参数，如果我们想要发送一些更复杂的请求，可以用urlopen发送一个request对象，这个request对象也是属于urllib.request模块的，在这里可以直接声明一个request对象，把url传进来

import urllib.request

req = urllib.request.Request('https://python.org')
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))

3. Handler

3.1 代理

伪装自己的IP地址，服务器识别为代理IP,可以切换IP，服务器识别到的就是来自不同地域的请求，就不会封掉爬虫了。对付反爬
(这里没有，只是举个例子)

import urllib.request

proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://127.0.0.1:9743',
    'https': 'https://127.0.0.1:9743'  #设置的代理（这里没有）
})
'''构建opener'''
opener = urllib.request.build_opener(proxy_handler)

response = opener.open('http://www.baidu.com')
print(response.read())

4. Cookie

在客户端保存的，用来记录用户身份的文本文件。爬虫时，cookie主要是用来维持登录状态的一个机制。

点击淘宝网，登录账号，在开发者工具Application中清除cookie信息，刷新网页，账号已退出。也就是有cookie能维持登录信息、登录状态

import http.cookiejar, urllib.request

#首先声明为一个CookieJar对象
cookie = http.cookiejar.CookieJar()

#借助handler处理cookie
handler = urllib.request.HTTPCookieProcessor(cookie)
#构建opener并打开百度网页
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')

#遍历打印
for item in cookie:
    print(item.name+"="+item.value) #打印cookie的name和value

在这里插入图片描述
可以保存cookie文件
可以保存成文本文件，如果没有失效的话，可以再次从中读取，在请求时继续保持登录状态

import http.cookiejar, urllib.request
filename = "cookie.txt"

#声明成CookieJar的一个子类对象，可调用save
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

#本地生成cookie文件

#另一种保存形式
import http.cookiejar, urllib.request
filename = 'cookie.txt'
cookie = http.cookiejar.LWPCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

5. 异常处理

'''请求一个不存在的网站'''

from urllib import request, error
try:
    response = request.urlopen('http://cuiqingcai.com/index.htm')
except error.URLError as e:
    print(e.reason)  #捕捉异常并打印原因

输出：Not Found

5.1 可以捕获的异常有哪些？

百度urllib python3 搜索官方文档

官方文档

from urllib import request, error

try:
    response = request.urlopen('http://c.com/index.htm')   
except error.HTTPError as e:  #首先捕获子类异常
    print(e.reason,e.code,e.headers,sep='\n')
except error.URLError as e:   #再捕捉父类异常
    print(e.reason)
else:
    print('Request Successfully')
    
#出错原因
#状态码
#response.headers信息
  ##说明错误是http错误

在这里插入图片描述

  • 用isinstance验证原因（小应用）
import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('https://www.baidu.com', timeout=0.01)
except urllib.error.URLError as e:
    print(type(e.reason))
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')

6. URL解析 url.parse

6.1 urlparse 分割

对传入一个url进行分割，把每个部分分割

类型、域名、路径、参数、query、fragment—6个部分，标准结构

如果需要对url进行拆分，可直接调用这个函数

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
print(type(result), result)

在这里插入图片描述

'''没有scheme'''
from urllib.parse import urlparse

result = urlparse('www.baidu.com/index.html;user?id=5#comment', scheme='https')
print(result)   #默认scheme是https

在这里插入图片描述

  • allow_fragments参数
from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', scheme='https')
print(result)

ParseResult(scheme=‘http’, netloc=‘www.baidu.com’, path=’/index.html’, params=‘user’, query=‘id=5’, fragment=‘comment’)

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html;user?id=5#comment', allow_fragments=False)
print(result)

#拼接到前面的query部分

ParseResult(scheme=‘http’, netloc=‘www.baidu.com’, path=’/index.html’, params=‘user’, query=‘id=5#comment’, fragment=’’)

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index.html#comment', allow_fragments=False)
print(result)

#往前拼接

ParseResult(scheme=‘http’, netloc=‘www.baidu.com’, path=’/index.html#comment’, params=’’, query=’’, fragment=’’)

6.2 urlunparse 拼接
from urllib.parse import urlunparse

data = ['http', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment']
print(urlunparse(data))

http://www.baidu.com/index.html;user?a=6#comment

6.3 urljoin 拼接

以后面的为基准，后面有的会替代掉前面的，后面没有的会由前面的来补充

from urllib.parse import urljoin

print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://c.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://c.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://c.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://c.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2'))

在这里插入图片描述

6.4 urlencode

将字典对象转换为get请求参数

from urllib.parse import urlencode

params = {
    'name': 'germey',
    'age': 22
}
base_url = 'http://www.baidu.com?'
url = base_url + urlencode(params)
print(url)

http://www.baidu.com?name=germey&age=22

小白自留地
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
初识爬虫—URL
qq_272941692的博客
08-20 2408
网络爬虫，一门被认为是偷偷摸摸拿人家东西的技术，实则不然，其实爬虫是光明正大的拿人家东西的技术。理直气壮对不对，我喜欢。 网络爬虫，也叫网络蜘蛛。它可以根据网页地址（URL）爬取你想要的数据。 URL 专业一些的叫法是统一资源定位符（Uniform Resource Locator），它的一般格式如下（带方括号[]的为可选项）： protocol : // hostname[:port] / path / [ ;parameters ] [ ?query ]#fragment URL 的格式主要由前个三部分
Python3中urlopen()详解
xiaoyaozi2020的博客
06-06 2076
data参数：data用来指明发往服务器请求中的额外的参数信息（如：在线翻译，在线答题等提交的内容），data默认是None，此时以GET方式发送请求；read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作。直接用urllib.request模块的urlopen（）获取页面，page的数据格式为bytes类型，需要decode（）解码，转换成str类型。#用户自定义表单，words表示的是用户要翻译的内容。
"笨方法“学习python笔记之urlopen
weixin_42730667的博客
10-09 2074
最近在学习“笨方法”学python中，在习题41中发现了urlopen（）函数，特意查了下官方资料，查资料最好查官方资料，最好不要做“百度君”。urlopen（）函数属于urllib 库中的函数，经常用于网络爬虫，主要功能是打开一个url，并建立其url 握手链接，为后续抓取相关数据做准备。 urllib是属于python的官方函数库，可以查看官方对该库的介绍： 官方urllib 该库主要包含...
urllib库的urlopen详解
热门推荐
实践求真知
01-06 1万+
一 爬虫基本库 Python提供了功能齐全的类库来帮助我们完成网络请求。最基础的HTTP库有urllib、httplib2、requests、treq等。 urllib库，只需要关心请求的链接是什么，需要传的参数是什么以及可选的请求头设置就好了，不用深入到底层去了解它到底是怎样传输和通信的。有了它，两行代码就可以完成一个请求和响应的处理过程，得到网页内容。 二 urllib介绍 在Pyth...
Python小白必看之urlopen()详解
hakesashou的博客
03-11 2101
函数原型如下：urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)2. data参数：data用来指明发往服务器请求中的额外的参数信息（如：在线翻译，在线答题等提交的内容），data默认是None，此时以GET方式发送请求；getcode()：返回Http状态码。urllib.request.urlopen()函数用于实现对目标url的访问。
爬虫技术-urllib基础使用.pptx
01-01
【Python 爬虫技术 - Urllib基础使用】 在Python编程中，爬虫技术是用于自动化获取网页数据的重要工具。Urllib是一个内置的Python库，提供了处理URL相关的各种功能，包括发起HTTP请求、解析URL、处理异常等。下面...
python爬虫之urllib3的使用示例
09-20
主要介绍了 python爬虫之urllib3的使用示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
学习笔记(07):21天搞定分布式Python网络爬虫-urllib库-ProxyHandler处理器
12-22
在本篇学习笔记中，我们将探讨如何使用`urllib`库中的`ProxyHandler`处理器来实现这一功能。 `urllib`是Python标准库中的一个模块，它提供了一系列用于处理URL的工具，包括下载网页、处理HTTP请求等。在Python的...
学习笔记(12):21天搞定分布式Python网络爬虫-urllib库-Cookie原理讲解
01-20
在Python的网络爬虫开发中，`urllib`库是一个常用的基础工具，它包含了处理URL相关的功能，如打开网页、编码解码URL等。而当我们需要处理与用户身份验证、会话保持相关的问题时，就会涉及到Cookie。本篇学习笔记将...
requests和urllib实现简单爬虫
01-06
通过以上介绍，我们可以看出`requests`和`urllib`都是实现Python爬虫的有效工具，它们各有优缺点，选择使用哪一个取决于具体项目的需求和开发者的个人偏好。在学习和实践中，掌握这两个库的基本用法，将有助于我们更...
【python】urlopen学习
你好我是例子，哦不！是栗子
05-10 834
这里写目录标题一、基础知识二、获取信息 一、基础知识 # 获取页面编码格式 if __name__ == '__main__': # urlopen()方法，可以使用read()进行读取，也可以使用geturl()、info()、getcode() # geturl()：返回url的字符串 # info()：返回meta标记的元信息，包括服务器信息 # getcode()：返回的是http的状态码 response = request.urlopen("http://
爬虫之url爬取
weixin_42175509的博客
07-04 2505
1、访问链接，获得链接网页源码 难点：反爬虫 可以用headers和proxy解决 2、识别网页中的链接 链接形式不统一，有绝对链接和相对链接，urljoin（） 3、链接储存 分为两部分，第一部分是进行识别链接是否已经被访问，第二部分进行储存所有链接 (1): 运用crawl_queue堆栈，将未被访问的链接进栈，在crawl_queue非空时，出栈一个url，访问此url并获取新的url，以此...
[Python]网络爬虫（一）：抓取网页的含义和URL基本构成
runfeel
05-13 688
一、网络爬虫的定义 网络爬虫，即Web Spider，是一个很形象的名字。 把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。 网络蜘蛛是通过网页的链接地址来寻找网页的。 从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址， 然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。 如果把整个互联网当成一...
掌握函数urlopen()的用法
Where
07-31 4005
目录一、函数功能二、语法格式三、实例 一、函数功能 urllib.request 定义了一些打开 URL 的函数和类，包含授权验证、重定向、浏览器 cookies等，可以模拟浏览器的一个请求发起过程，我们可以利用urllib.request 的 urlopen 方法实现对目标URL的访问。 二、语法格式 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context
Python爬虫库urllib使用详解
Python栈
05-27 1538
HTTPError 是 URLError 的一个子类，用于处理特殊 HTTP 错误例如作为认证请求的时候，包含的属性 code 为 HTTP 的状态码， reason 为引发异常的原因，headers 为导致 HTTPError 的特定 HTTP 请求的 HTTP 响应头。获取到的是二进制的乱码，所以需要用到decode()命令将网页的信息进行解码。URLError 是 OSError 的一个子类，用于处理程序在遇到问题时会引发此异常（或其派生的异常），包含的属性 reason 为引发异常的原因。
python3中urlopen()和get()区别
xiangxianghehe的博客
02-19 1万+
爬虫里面，我们不可避免的要用urllib中的urlopen()和requests.get()方法去请求或获取一个网页的内容,这里面的区别在于urlopen打开URL网址，url参数可以是一个字符串url或者是一个Request对象，返回的是http.client.HTTPResponse对象.http.client.HTTPResponse对象大概包括read()、readinto()、gethea
python爬虫多个url_Python爬虫爬取网页中所有的url的多种实现方法
weixin_29351901的博客
02-10 9155
在使用python爬虫进行网络页面爬取的过程中，第一步肯定是要爬取url，若是面对网页中很多url，，又该如何爬取所以url呢？本文介绍Python爬虫爬取网页中所有的url的三种实现方法：1、使用BeautifulSoup快速提取所有url；2、使用Scrapy框架递归调用parse；3、在get_next_url()函数中调用自身，递归循环爬取所有url。方法一：使用BeautifulSoup...
使用urllib库轻松实现网络数据抓取和爬虫！
qq_41314882的博客
10-14 859
导入http.cookiejar和urllib.request模块，声明一个CookieJar()对象，使用urllib.request.HTTPCookieProcessor()，导入对象，使用build_opener(）方法，open()打开链接，for()叠加循环。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。意思是如果请求超出了设置的这个时间，还没有的到响应，就会抛出异常。
爬虫urllib代码
最新发布
05-18
接着，我们使用`urllib.parse.urlencode()`方法将POST请求中的参数编码成URL格式，并将其转换成二进制数据。最后，我们使用`urllib.request.urlopen()`发送POST请求并获取响应。 除了上述功能外，urllib还提供了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值