爬虫自学之旅--urllib篇(上)

最新推荐文章于 2024-07-08 16:12:25 发布

akicy

最新推荐文章于 2024-07-08 16:12:25 发布

阅读量780

点赞数 1

分类专栏：笔记文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_46262057/article/details/121340705

版权

笔记专栏收录该内容

3 篇文章 0 订阅

订阅专栏

urllib库的使用（上）

作为刚刚肝完python基础的新人，在看了大佬们的意见后，开始了自己的python爬虫之旅。本文大多数内容来自于崔庆才著的《python3 网络爬虫开发实战》。当然本文也用于自己的分享以及复习。

前言

首先我这里的用IDE为pycharm。至于urllib库，它是python内置的HTTP请求库，所以打开即可import；

提示：本文章用于分享与自我复习。

一.如何构造请求：

感觉和人差不多，发送请求略等于向人要东西，比如我要一个橘子，直接来：我要橘子。含蓄一点，我有点饿，你看那橘子怎么样？python貌似也是这么想的。所以提供了urllib库来供你向网页提出请求。例如：

1.urlopen()

好了，知道这个我就想试试向百度请求试试；

import urllib.request
result = urllib.request.urlopen('https://www.baidu.com/')

然后结果是：

b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'

然后看了看书：原来是这个模块提供了最基本的构造HTTP的请求方法。

附加一些参数：

1.data
2.timeout
3.content
...

不过仅有一个方法感觉有些不妥，毕竟要橘子还可以用好多方法。欸嘿，显然python想到了这里，我们还可以用更厉害的东西。

2.request

它厉害在哪里呢？在于它可以传参。这就相当于，我想吃橘子，但我不说我要吃，我偏要说我爸要吃，整挺好，增加说服力了。浏览器也吃这套。我们可以改headers，还可以改User-Agent。上例子；

from urllib import request
url = 'https://www.baidu.com/'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53'
}
r = request.Request(url=url,headers=headers)
print(r)

结果：

<urllib.request.Request object at 0x0000029BD7D194C8>

外附一些高级用法：

1.HTTPDefaultErrorHandler：处理HTTP相应错误；
2.HTTPRedirectHandler：处理重定向；
3.HTTPCookieProcessor：处理Cookies；
4.ProxyHandler：设置代理，默认为空；
5.HTTPPasswordMgr：管理密码；
6.HTTPBasicAuthHandler：管理认证；

二.如何处理异常：

如何处理异常；好家伙。我吃到个坏了一半的橘子，嗯？我怎么知道它坏了一半呢？难道不是坏了一整个？所以我们要用一种好用的方法来解决这个问题；

1.URLError：处理异常；

有了python提供的这个来自于error模块的这个类，果然好判断了许多。试试书上提供的代码例子：

from urllib import request,error
url = 'https://asasdasdasdasdasda.com/'
try:
    response = request.urlopen(url)
except error.URLError as e:
    print(e.reason)

因为我的URL是瞎打的，所以结果：

[Errno 11001] getaddrinfo failed

三.总结

总结就是还没有写完，所以明日再肝~

akicy

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
爬虫自学之旅--urllib篇(上)

urllib库的使用（上）作为刚刚肝完python基础的新人，在看了大佬们的意见后，开始了自己的python爬虫之旅。本文大多数内容来自于崔庆才著的《python3 网络爬虫开发实战》。当然本文也用于自己的分享以及复习。文章目录urllib库的使用（上）前言一.如何构造请求：二.如何处理异常：三.总结前言首先我这里的用IDE为pycharm。至于urllib库，它是python内置的HTTP请求库，所以打开即可import；提示：本文章用于分享与自我复习。一.如何构造请求：感觉和人差不
复制链接

扫一扫