Python 网络请求模块 urllib 、requests，python爬虫淘宝

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

• urllib.request 提供了一个 urlopen 函数，来实现获取页面。支持不同的协议、基本验证、cookie、代理等特性。

• urllib 有两个版本 urllib 以及 urllib2。

• urllib2 能够接受 Request 对象，urllib 则只能接受 url。

• urllib 提供了 urlencode 函数来对GET请求的参数进行转码，urllib2 没有对应函数。

• urllib 抛出了 一个 URLError 和一个 HTTPError 来处理客户端和服务端的异常情况。

Requests 介绍

Requests 是一个简单易用的，用Python编写的HTTP库。这个库让我们能够用简单的参数就完成HTTP请求，而不必像 urllib 一样自己指定参数。同时能够自动将响应转码为Unicode，而且具有丰富的错误处理功能。

• International Domains and URLs

• Keep-Alive & Connection Pooling

• Sessions with Cookie Persistence

• Browser-style SSL Verification

• Basic/Digest Authentication

• Elegant Key/Value Cookies

• Automatic Decompression

• Unicode Response Bodies

• Multipart File Uploads

• Connection Timeouts

• .netrc support

• List item

• Python 2.6—3.4

• Thread-safe

以下为一些示例代码，本文环境为 Python 3.6.0

无需参数直接请求单个页面

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

import urllib

from urllib.request import request

from urllib.urlopen import urlopen

import urllib2

import requests

使用 urllib 方式获取

response = urllib.request.urlopen(‘http://www.baidu.com’)

read() 读取的是服务器的原始返回数据 decode() 后会进行转码

print(response.read().decode())

使用 requests 方式获取

request 模块相比

resp = requests.get(‘http://www.baidu.com’)

print(resp)

print(resp.text)

HTTP 是基于请求和响应的工作模式，urllib.request 提供了一个 Request 对象来代表请求，因此上面的代码也可以这么写

req = urllib.request.Request(‘http://www.baidu.com’)

with urllib.request.urlopen(req) as response:

print(response.read())

Request对象可以增加header信息

req = urllib.request.Request(‘http://www.baidu.com’)

req.add_header(‘User-Agent’, ‘Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25’)

with urllib.request.urlopen(req) as response:

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
ip1024c （备注python）**
[外链图片转存中…(img-1Vgj3EUZ-1713343240581)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！