urllib的使用 笔记

已于 2022-12-05 17:05:59 修改
阅读量764 收藏 3
点赞数 2
分类专栏： 爬虫 文章标签： python 爬虫
于 2022-12-04 23:50:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43593166/article/details/128167840
版权

urllib的使用

1. urllib的基本用法

使用urllib来获取百度首页的源码

import urllib.request
#(1) 定义一个url
url = 'http://www.baidu.com'
#(2) 模拟浏览器向服务器发送请求
response= urllib.request.urlopen(url)
#(3) 获取响应中的页面的源码
content = response.read() # read返回的是字节形式的二进制数据
content = response.read().decode('utf-8')

2. 一个类型和六个方法

1个类型：上述代码中的response是HTTPResponse类型。
6个方法：

content = response.read() # 按照一个一个字节的方法去读取
content = response.read(5) # 读取5个字节
content = response.readline() # 读取一行
content = response.readlines() # 读取所有行，按照列表返回
response.getcode() # 返回状态码
response.geturl() # 获取url地址
response.getheaders() # 获取一些状态信息

3. 下载

#下载网页
url_page = 'http://www.baidu.com'
urllib.request.urlretrieve(url_page, 'baidu.html')
#下载图片
url_img = '图片地址'
urllib.request.urlretrieve(url_img, filename='图片名称.jpg')
#下载视频
url_video = '视频地址'
urllib.request.urlretrieve(url_video, '视频名称.mp4')

4. 请求对象的定制

4.1 url的组成

https://www.baidu.com/s?wd=周杰伦

  1. 协议：http/https
  2. 主机：www.baidu.com
  3. 端口号：http(80), https(443), mysql(3306), oracle(1521), redis(6379), mongodb(27017)
  4. 路径： s
  5. 参数：wd=周杰伦
  6. 锚点：#

4.2 请求对象定制，解决UA反爬

headers = {'User-Agent':xxxxxxxxxxxxxxxxxxxxxxxxxxxx}
#因为urlopen方法中不能存储字典，所以headers不能传递进去
#请求对象的定制
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf8')
print(content)

5. 编解码

5.1 get请求方式：urllib.parse.quote()

#url中的汉字以Unicode编码形式存在：%E5%91%A8%E6%9D%B0%E4%BC%A6
#url = https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=%E5%91%A8%E6%9D%B0%E4%BC%A6...
#使用urllib.parse.quote()可以将汉字转为Unicode编码形式

url = https://www.baidu.com/s?wd=
name = urllib.parse.quote('周杰伦')
url = url + name

5.2 get请求方式：urllib.parse.urlencode()

应用场景：多个参数的时候

# https://www.baidu.com/s?wd=周杰伦&sex=男
data = {
	'wd':'周杰伦'
	'sex':'男'
	'location':'台湾省'
}
base_url = 'https://www.baidu.com/s?'
new_data = urllib.parse.urlencode(data)
url = base_url + new_data

5.3 post请求方式

以百度翻译为例

url = 'https://fanyi.baidu.com/sug'
data = {
	'kw':'spider'
}
#post请求方式的参数必须编码
data = urllib.parse.urlencode(data).encode('utf-8')
#post的请求参数是不会拼接在url的后面的，而是需要放在请求对象定制的参数中
request = urllib.request.Request(url=url, data=data, headers=headers)
#模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
#获取响应数据
content = response.read().decode('utf-8')
obj = json.loads(content)

以百度翻译的详细翻译为例

url = https://fanyi.baidu.com/v2transapi?from=srp&to=zh
# 决定性因素：cookie。反爬方法：要求cookie
headers = {
	'Accept':' */*'
	#'Accept-Encoding':' gzip, deflate, br' # 一定要注释掉
	'Accept-Language':' zh-CN,zh;q=0.9'
	'Acs-Token':' xxxxxxxxxxxxxxxxxxx'
	'Connection':' keep-alive'
	'Content-Length':' 137'
	'Content-Type':' application/x-www-form-urlencoded; charset=UTF-8'
	'Cookie: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
	'Host':' fanyi.baidu.com'
	'Origin: https':'//fanyi.baidu.com'
	'Referer: https':'//fanyi.baidu.com/'
	'sec-ch-ua':' xxxxxxxxxxxxxxxxxxx'
	'sec-ch-ua-mobile':' ?0'
	'sec-ch-ua-platform':' "Windows"'
	'Sec-Fetch-Dest':' empty'
	'Sec-Fetch-Mode':' cors'
	'Sec-Fetch-Site':' same-origin'
	'User-Agent':'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
	'X-Requested-With':' XMLHttpRequest'
	
}
data = {
	'from':'srp'
	'to':'zh'
	'query':'spider'
	'transtype':'realtime'
	'simple_means_flag':'3'
	'sign':'xxxxx.xxxxxx'
	'token':'xxxxxxxxxxxxxx'
	'domain':'common'
}
#post请求方式的参数必须编码
data = urllib.parse.urlencode(data).encode('utf-8')
#post的请求参数是不会拼接在url的后面的，而是需要放在请求对象定制的参数中
request = urllib.request.Request(url=url, data=data, headers=headers)
#模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
#获取响应数据
content = response.read().decode('utf-8')
obj = json.loads(content)

6 ajax的get请求

豆瓣动作电影排行榜前20（首页/ajax）

url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=0&limit=20'
headers = {
    'User-Agent' : 'xxxxxxxxxxxxxxxxxxxx'
}

# (1)请求对象的定制
request = urllib.request.Request(url=url, headers=headers)
# (2)获取响应的数据
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
# (3)保存数据到本地
# open方法默认情况下使用的是gbk编码，如果要保存中文，需要用utf-8编码
with open('douban.json', 'w', encoding='utf-8') as fp:
    fp.write(content)

豆瓣动作电影排行榜前几页（ajax）

#找规律
#‘https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=0&limit=20’
#‘https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=20&limit=20‘
#‘https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=40&limit=20’
#......

#page  1   2   3   4
#start 0  20  40  60
#start=(page-1)*20

def create_request(page):
    base_url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&'
    data = {
        'start':(page - 1) * 20,
        'limit':20
    }
    data = urllib.parse.urlencode(data)
    url = base_url + data
    headers = {
        'User-Agent' : 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
    }
    
    # 请求对象的定制
    request = urllib.request.Request(url=url, headers=headers)
    return request

def get_content(request):
    # 获取响应的数据
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content

def down_load(page, content):
    # 保存数据到本地
    with open('douban_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
        fp.write(content)

if __name__ == '__main__':
    start_page = int(input('请输入起始的页码'))
    end_page = int(input('请输入结束的页码'))

    for page in range(start_page, end_page+1):
        #每一页都有自己的请求对象的定制
        request = create_request(page)
        content = get_content(request)
        down_load(page, content)

7 ajax的post请求

查询KFC在珠海的餐厅信息

#第一页
#http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword
#post：
#cname:
#pid:
#keyword: 珠海
#pageIndex: 1
#pageSize: 10

#第二页
#http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword
#post
#cname:
#pid:
#keyword: 珠海
#pageIndex: 2
#pageSize: 10


base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'


def create_request(page):
    base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'

    data = {
        'cname':'',
        'pid':'',
        'keyword': '珠海',
        'pageIndex': page,
        'pageSize': '10'
    }

    data = urllib.parse.urlencode(data).encode('utf-8')

    headers = {
        'User-Agent' : 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
    }

    # 请求对象的定制
    request = urllib.request.Request(url=base_url, headers=headers, data=data)
    return request


def get_content(request):
    # 获取响应的数据
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content


def download(page, content):
    # 保存数据到本地
    with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
        fp.write(content)

if __name__ == '__main__':
    start_page = int(input('请输入起始的页码:'))
    end_page = int(input('请输入结束的页码:'))

    for page in range(start_page, end_page+1):
        #每一页都有自己的请求对象的定制
        request = create_request(page)
        content = get_content(request)
        download(page, content)

8 URLError\HTTPError

  1. HTTPError类是URLError类的子类
  2. 导入的包：urllib.error.HTTPError和urllib.error.URLError
  3. http错误：http错误是针对浏览器无法连接到服务器而增加的错误提示。引导并告诉浏览者该页是哪里出了问题
  4. 通过urllib发送请求的时候，有可能会发送失败，这个时候如果想让你的代码更加的健壮，可以通过try-except进行异常捕获，异常那个有两类：URLError和HTTPError
# base_url = 'https://blog.csdn.net/qq_41684621/article/details/113851644'
#base_url = 'http://www.doudan1111.com'
headers = {
        'User-Agent' : 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
}

try:
    request = urllib.request.Request(url=base_url, headers=headers)

    response = urllib.request.urlopen(request)

    content = response.read().decode('utf-8')

    print(content)

except urllib.error.HTTPError:
    print('系统正在升级...')

except urllib.error.URLError:
    print('请检查网址...')

9 cookie登陆

适用的场景：数据采集的时候，绕过登陆进入某个页面

url = 'https://weibo.cn/6451491586/info'

headers = {
        'User-Agent' : 'xxxxxxxxxxxxxxxxxxx'
}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
with open('weibo.html', 'w', encoding='utf-8') as fp:
    fp.write(content)

上述代码运行会报错

Traceback (most recent call last):
  File "F:\Python\spider\spider_test.py", line 17, in <module>
    content = response.read().decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb5 in position 672: invalid start byte

是因为虽然要打开的个人信息页面是utf-8编码方式，但是这个请求并没有进入个人信息页面，而是跳转到了登陆页面，登陆页面不是utf-8，以下做出相应更改

url = 'https://weibo.cn/6451491586/info'

headers = {
        'User-Agent' : 'xxxxxxxxxxxxxxxxxxx'
}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('gb2312')
with open('weibo.html', 'w', encoding='gb2312') as fp:
    fp.write(content)

可以运行，但是无法通过weibo.html打开登陆页面
加入请求头Request Headers内的内容，其中：cookie中携带者个人登陆信息，如果有登陆之后的cookie，那么就可以携带者cookie进入到任何页面；referer判断当前路径是不是由上一个路径进来的，一般情况下，做图片防盗链

10 Handler处理器

urllib.request.urlopen(url) 不能定制请求头，不能解决UA反爬
urllib.request.Request(url, headers,data) 可以定制请求头
Handler 定制更高级的请求头（随着业务逻辑的复杂，请求对象的定制已经无法满足我们的需求（动态cookie和代理不能使用请求对象的定制））

#使用handler来访问百度，获取网页源码

url = 'https://www.baidu.com'
headers = {
        'User-Agent' : 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
}
request = urllib.request.Request(url=url, headers=headers)

#handler build_opener open
# 获取handler对象
handler = urllib.request.HTTPHandler()
# 获取opener对象
opener = urllib.request.build_opener(handler)
# 调用opener方法
response = opener.open(request)

content = response.read().decode('utf-8')
print(content)

11 代理服务器

代理的常用功能：

  1. 突破自身IP访问的限制，访问国外的站点
  2. 访问一些单位或团体内部资源，例如某大学FTP（前提是该代理地址在该资源的允许访问范围之内），使用教育网内地址段免费代理服务器，就可以用于对教育网开放的各类FTP下载上传，以及各类资料查询共享等服务
  3. 提高访问速度，通常代理服务器都设置了一个较大的硬盘缓冲区，当有外界信息通过时，同时也将其保存到缓冲区中，当其他用户在访问相同信息时，则直接由缓冲区中取出信息，传给用户，以提高访问速度
  4. 隐藏真实IP，上网者可以通过这种方法隐藏自己的IP，免受攻击

配置代理：

  1. 创建Request对象
  2. 创建ProxyHandler对象
  3. 用handler对象创建opener对象
  4. 使用opener.open函数发送请求
# 代理服务器的使用
url = 'http://www.bing.com/search?q=ip'

headers = {
        'User-Agent' : 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
}
# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)
# 代理IP(快代理)
proxies = {
    'http':'61.216.185.88:60808'
}

#handler build_opener open
# 获取handler对象
handler = urllib.request.ProxyHandler(proxies=proxies)
# 获取opener对象
opener = urllib.request.build_opener(handler)
# 调用opener方法
response = opener.open(request)

content = response.read().decode('utf-8')
with open('daili.html', 'w', encoding='utf-8') as fp:
    fp.write(content)

12 cookie库

# 代理池的使用
url = 'http://www.bing.com/search?q=ip'

headers = {
        'User-Agent' : 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
}

# 代理池(快代理)
proxies_pool = [
    {'http':'61.216.185.88:60808'},
    {'http':'112.14.47.6:52024'},
    {'http':'121.13.252.62:41564'},
    {'http':'61.216.156.222:60808'}
]
proxies = random.choice(proxies_pool)
# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)

#handler build_opener open
# 获取handler对象
handler = urllib.request.ProxyHandler(proxies=proxies)
# 获取opener对象
opener = urllib.request.build_opener(handler)
# 调用opener方法
response = opener.open(request)

content = response.read().decode('utf-8')
with open('daili.html', 'w', encoding='utf-8') as fp:
    fp.write(content)
SHUO_MUST
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scrapy学习笔记-基本库的使用urllib
12-21
例如，对于需要认证的URL，可以使用`urllib.request.HTTPBasicAuthHandler`或`HTTPDigestAuthHandler`来处理。 对于POST请求，`urlopen()`函数可以接收一个`data`参数，当`data`不是None时，请求方式将变为POST。...
urllib2学习笔记
07-09
urllib2学习笔记，用于平时学习时的笔记使用： #返回读取网页全部内容,字符串 html = response.read() #返回访问的问页响应码 print response. getcode() #返回实际数据的URL print response.geturl() #返回访问...
python3 urllib JWT json token 登录
mixboot
09-21 913
python3 urllib JWT json token 登录 import urllib.request import json url = "Response包含token信息的url" # 抓包登录参数 username = "用户名" password = "密码" # 转换为JSON格式 data = json.dumps({"username": username, "passwor...
urlretrieve
weixin_30588675的博客
12-30 198
urllib.urlretrieve(url[, filename[, reporthook[, data]]])参数说明：url：外部或者本地urlfilename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。d...
urllib 中的post请求
weixin_30394633的博客
06-04 928
import urllib.requestimport urllib.parse url = 'http://fanyi.baidu.com/v2transapi' word = 'meizi' formdata = { 'from' : 'en', 'to' : 'zh', 'query':word, 'transtype':'realtime', 'simple_means_flag' ...
urlretrieve()的使用
zhangge138的博客
12-28 610
以下代码可用于简单下载文件 # 环境python3.8 import urllib.request as ureq import os import time # 定义回调函数 def callback(cur_down, cur_size, total_size): """ 回调函数 :param cur_down: 已经下载的数据块数 :param cur_size:数据块的字节数 :param total_size:文件总字节数 :return:
urlretrieve的用法
CSDN_Xying的博客
07-31 3407
urlretrieve用作下载网页上的图片 def urlretrieve(url, filename=None, reporthook=None, data=None): url : 需要保存的内容url，在网页上查询到想要的数据， filename ： 需要保存的地址，路径及名称 urllib.request.urlretrieve(cover_url,filename='../do...
YOLOv5训练笔记
11-03
YOLOv5训练笔记主要涉及的是使用YOLOv5模型进行目标检测的实践过程，包括环境配置、数据准备和模型训练。以下是对这些知识点的详细解释： 1. **环境安装**： - 首先，为了运行YOLOv5，需要创建一个Python虚拟环境...
学习笔记(29):21天通关Python（仅视频课）-案例实操：使用urllib模块读取网络资源及提交请求（上）…
12-21
本篇学习笔记主要关注`urllib`模块中的`request`子模块，它提供了多种功能来实现网络资源的访问和数据提交。我们将深入探讨如何使用`urllib.request.urlopen()`方法以及如何构建`Request`对象来发送不同类型的HTTP...
python第三方库学习笔记
12-20
本文主要探讨了Python第三方库的学习及其重要性，以nnlog和urllib.parse为例，阐述如何利用这些库增强代码的功能和易用性。 首先，Python中的模块化编程是提高代码可维护性和复用性的关键。一个.py文件即为一个模块...
urllib.urlretrieve的用法
12-20 214
urllib.urlretrieve(url, local, cbk) urllib.urlretrieve(p,'photo/%s.jpg'%p.split('/')[-4]) url要下载的网站 local下载下来要放的地址（注意格式要写对 照片.jpg 视频 .mp4)具体看url的最后标记 转载于:https://www.cnblogs.com/ZHANG57...
urllib模块中的urlretrieve方法
JiangNanMax的博客
10-07 6308
urllib模块中的urlretrieve方法 在做爬虫的时候接触到了urllib模块中的urlretrieve方法，该方法可以直接将远程数据下载到本地，十分方便。之前爬取网络上的图片到本地，需要自己实现两个步骤，首先需要设置好本地的文件路径，然后再使用urlopen方法打开图片的源地址，下载到该路径。然而使用urlretrieve方法的话，就不用那么麻烦了，可以直接在它的参数里给出图片的ur...
Python urllib模块urlretrieve()详解
sometime here
04-08 944
Python urllib模块urlretrieve()详解 urlretrieve方法 直接将远程数据下载到本地。 urllib.urlretrieve(url,filename,reporthook=None,data=None) 参数说明： url：外部或者本地url filename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）； r...
【Python爬虫历程】urllib库之urlretrieve函数详解
Demo.demo的博客
03-26 8232
urlretrieve函数： urlretrieve() 方法直接将远程数据下载到本地。 这个函数可以方便的将网页上的一个文件保存到本地。可以是网页的html文件、图片、视频等媒体文件。 >>> help(urllib.urlretrieve) Help on function urlretrieve in module urllib: urlretrieve(url, ...
python urllib urlretrieve学习使用
无心插柳
02-19 9894
python urllib urlretrieve学习使用
urllib.request.urlretrieve()
dawei2068的博客
01-01 606
urllib模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。 urlretrieve(url, filename=None, reporthook=None, data=None) 参数filename指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。） 参数reporthook是一个回调函数，当连接上...
Python入门教程36：urllib网页请求模块的用法
我的Python教程
09-11 573
3.6 urllib.parse.urlunsplit(parts): 类似于urlunparse，接受一个包含 URL 的各个组成部分的 ParseResult 对象或元组作为参数，并返回一个完整的 URL 字符串。3.4 urllib.parse.urldefrag(url): 接受一个 URL 字符串作为参数，并返回一个包含两个元素的元组：不包含片段标识符的基础 URL 和片段标识符。1.1 urllib.request.urlopen：用于打开和读取URL网址，并返回一个响应对象。
【爬虫学习】基础篇3：urllib库与request模块
weixin_42044009的博客
01-20 1739
前面2讲，我们探讨了爬虫的基础知识和请求等概念，从第3讲开始，正式进入实操，我们一起学习如何用python编写代码，实现向服务器进行爬虫的操作。同样，我的理念是用长期主义+循序渐进的方式学习，把每个重要的基础概念吃透理解，写代码是最后水到渠成的步骤而已。
jupyter urllib3 错误
最新发布
04-18
Jupyter是一个开源的交互式笔记本，可以用于数据分析、可视化和机器学习等任务。而urllib3是一个Python的HTTP库，用于发送HTTP请求。当在Jupyter中使用urllib3时，可能会遇到一些错误。以下是一些常见的urllib3错误及其解决方法： 1. ImportError: No module named 'urllib3' 这个错误表示Python找不到urllib3模块。解决方法是通过命令行或终端运行`pip install urllib3`来安装urllib3模块。 2. SSL Certificate Verification Failed 这个错误表示SSL证书验证失败。解决方法是在创建urllib3的HTTP连接池时，设置`verify=False`参数来禁用SSL证书验证。例如： ``` import urllib3 http = urllib3.PoolManager(cert_reqs='CERT_NONE') response = http.request('GET', 'https://example.com', verify=False) ``` 3. ConnectionError: Max retries exceeded with url 这个错误表示连接超时或连接次数超过了最大重试次数。解决方法是增加连接超时时间或增加最大重试次数。例如： ``` import urllib3 http = urllib3.PoolManager(timeout=urllib3.Timeout(connect=5.0, read=10.0), retries=3) response = http.request('GET', 'https://example.com') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值