urllib爬虫库内模块与方法详解【重点】

---

​🕶️师兄简介：机械专业，通过自学成功进入IT领域，求学期间实现经济独立，对自学、兼职、计算机、学习规划等有独到见解！「点击了解更多」

🤖师兄致力解决在大学生活与学习中遇到的各种问题.

🎁 公众号「渣师兄」内回复「渣学」可获得超 5T 的新生见面礼！

🔗官方网站： 渣学网 →「zhaxueit.cn」→ 大学生活与学习一站式解决方案.

🙏找师兄帮忙「无偿」请➕💓：zhaxueit

📓进资源群「每日分享」【免费】(坑位有限)也请➕💓：zhaxueit 并备注「进群」
​
👀个人主页：@渣师兄 ，欢迎关注、私信师兄！

---

🐐 登高必自卑，行远必自迩.
🍇 我始终坚信越努力越幸运
⭐️ 那些打不倒我们的终将会让我们变得强大
🍑 希望在编程道路上深耕的小伙伴都会越来越好

---

---

urllib库内request模块的方法及功能

urllib.request 库内的 urlopen（）方法功能

功能：向目标 url 发送一个请求，并返回一个相应对象

方法参数：

url：发送请求的目标网站（网站一定要写全 例如 http://www.baidu.com/ ，http不能忘以及最后的/）

timeout：设置请求时间，超过设置的请求时间将抛出异常

语法：res_obj = urllib.request.urlopen（url）

注意：res_obj 只是网站响应的对象，不是网站相应的数据！！！

urllib.request.urlopen（）方法返回的响应对象的方法

响应对象.read（）：获取网站响应的源代码（bytes数据格式）【字节串数据格式】

响应对象.read.decode（编码格式）：获取网站响应的源代码（string数据格式）【字符串数据格式】

响应对象.geturl（）：获取实际返回响应数据的网站url（考虑到重定向问题）

响应对象.getcode（）：获取网站的http响应状态码

注意： bytes数据与string数据不一样，bytes是以字节为单位，string是以字符为单位， string通过encode（）编码可转换为bytes，bytes可通过decode（）解码转换为string，bytes数据格式为 b“数据”，string数据格式为 “数据”

图示：

响应对象的.read（）方法

响应对象的.read（）.decode（）方法

响应对象的.geturl（）与响应对象的.getcode（）方法

怎么查看程序向网站发送请求时标头的 User-Agent

直接向下面 url 地址发送请求即可查看请求协议标头的 User-Agent

网站：http://httpbin.org/get

图示：

浏览器发送请求查看 User-Agent

python的urllib库发送请求查看 User-Agent

urllib.request库内的 Request（）方法功能

功能：包装请求标头信息（一般是 User-Agent），并且返回这个包装好的请求头对象，用于向 url 发送请求

语法：req = urllib.request.Request（url = 网站域名，headers = {“User-Agent”：“伪装的标头信息”}）

参数：

url：待请求的链接地址

headers：伪装的请求标头信息

注意事项：Request方法并没有向网站发送请求，而是伪装请求标头，urlopen方法才向目标网站发送请求并且接收响应数据

截图

urllib.parse模块的方法功能解析【重点】

目标：

1：掌握搜索关键字 url 地址的组成部分

2：掌握向目标查询关键字地址发送请求的注意事项

3：urllib.parse.urlencode（）方法详解

4：urllib.parse.quote（）方法详解

5：掌握 urllib.parse库内的 urlencode 方法以及 quote 方法的区别~

搜索关键字 url 地址的组成部分

组成：协议项+域名+数据库资源路径+查询参数

图示：

注意：其实很多查询参数都没有用，上面的 url 可简化为 https://www.baidu.com/s?wd=美女

向查询关键字地址服务器发送请求的注意事项

什么是查询关键字地址？：就是搜索相应关键字所对应的url地址，例如在百度上查询美女的url地址如下

https://www.baidu.com/s?wd=美女

向查询关键字地址服务器发送请求的注意事项：需要将url地址内中文 编码后 才可以向服务器发送请求

示例：

编码前URL地址：https://www.baidu.com/s?wd=美女

编码后URL地址：https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3

注意：编码后三个%对应一个中文字符，例如%E7%BE%8E就对应 美 这个中文字符

urllib.parse.urlencode（）方法详解

功能：将查询参数内的中文进行编码，并返回编码后的查询参数（返回多个编码后的查询参数时默认返回 &）

语法：返回编码后查询参数 = urllib.parse.urlencode（{查询参数1：待编码值1，查询参数2：待编码值2……….}）

语法参数：

字典：字典内存放需要编码的查询参数，例如查询参数为 wd=美女 就这么写 {“wd”：“美女”}

语法参数返回值：

params = urllib.parse.urlencode（{“wd”：“美女”}） params 就是 wd=%E7%BE%8E%E5%A5%B3

注意事项：urllib.parse.urlencode（）方法只返回编码后的查询参数，并不是整个url地址，需要进行字符串拼接才能向目标url服务器发送请求

图示：

urllib.parse.quote（）方法详解

功能：对查询参数内的中文进行编码，并且返回这个中文编码后的字符串

语法：编码后的中文字符串 = urllib.parse.quote（”查询参数中的中文关键字“）

例如：params = urllib.parse.quote（”美女“） params 就是 %E7%BE%8E%E5%A5%B3

方法参数：

查询参数内的中文：只是中文，没有相对应的 wd 等

注意事项：这个方法只返回编码后的中文字符，连键都不返回需要自己写

图示：

urllib.parse库内的 urlencode 方法以及 quote 方法的区别~

区别：

1：参数不同，urlencode参数为字典，quote参数是中文字符串

2：返回值不同，urldecode返回的是键与值，例如 wd=%E7%BE%8E%E5%A5%B3 ，quote方法返回的只有值，例如 %E7%BE%8E%E5%A5%B3

持续更新中…