Python爬虫——Urllib库-4

最新推荐文章于 2024-05-26 20:06:14 发布
最新推荐文章于 2024-05-26 20:06:14 发布
阅读量1.2k 收藏 16
点赞数 28
分类专栏： Python爬虫 Python之路 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DDDDWJDDDD/article/details/136392189
版权

目录

异常

Cookie登录

Handler处理器

基本使用

代理服务器

普通代理

代理池

总结

异常

HTTPError是URLError的子类

例如如下代码


import urllib.request


url = 'https://blog.csdn.net/DDDDWJDDDD/article/details/136343427'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}

request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

print(content)

如上的话正常访问是没有一点问题的，可如果你将URL修改一下

比如修改成如下的样子 

url = 'https://blog.csdn.net/DDDDWJDDDD/article/details/136343427666'

我在后面加了个666

这样再运行直接就报错HTTPError了

如果是这样写URL：

url = 'https://www.aaaaa666.com'

那么直接报错URLError

遇到这种异常直接try起来就好了，至少不会报错，然后取修改你的URL吧


import urllib.request
import urllib.error

# url = 'https://blog.csdn.net/DDDDWJDDDD/article/details/136343427666'
url = 'https://www.aaaaa666.com'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}

try:
    request = urllib.request.Request(url=url, headers=headers)

    response = urllib.request.urlopen(request)

    content = response.read().decode('utf-8')

    print(content)
except urllib.error.HTTPError:
    print('系统正在升级...sorry~~')
except urllib.error.URLError:
    print('系统正在升级...dbq')

Cookie登录

当你在数据采集的时候需要绕过登录然后进入某个页面，这时候cookie登录就派上用场了

比如在微博的个人信息的详细页面，如果我们直接这样写可以获得内容吗

import urllib.request

# 在数据采集的时候需要绕过登录然后进入某个页面
url = 'https://weibo.cn/6582012663/info'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}

# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
# 获取数据获取数据
content = response.read().decode('utf-8')
# 将数据保存到本地
fp = open("weibo.html", 'w', encoding='utf-8')
fp.write(content)

        但是实际上是不可以，因为我们这样模拟浏览器去访问和直接换一个浏览器或者设备去访问好像是一个效果，所以都会让你从新登录，因此是不可以的。

        个人信息页面是utf-8，但还是报错了编码错误 ，因为没有进入个人信息页面，然后网站的拦截器拦截了请求，将其跳转到了登录页面，但是登录页面又不是utf-8，所以报错。

那这就是因为请求头的信息不够了，因此访问失败了

我们将登录成功的header中的所有内容都加入忙着哩可以使用notepad++全部替换搞定

然后一定要注意当前页面的编码格式是utf-8，有些时候可能不是，因此会报错

一定要注释掉 

这个一定要注释掉，因为页面是utf-8的，但是这里没有
 'Accept-Encoding': 'gzip, deflate, br, zstd'


import urllib.request

# 在数据采集的时候需要绕过登录然后进入某个页面
url = 'https://weibo.cn/6582012663/info'

headers = {
    # ':authority': 'weibo.cn',
    # ':method': 'GET',
    # ':path': '/6582012663/info',
    # ':scheme': 'https',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    # 这个一定要注释掉，因为页面是utf-8的，但是这里没有
    # 'Accept-Encoding': 'gzip, deflate, br, zstd',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Cache-Control': 'max-age=0',
    # cookie中携带着登录信息，如果header中包含了登录成功的cookie基本上什么页面都可以进入
    'Cookie': '_T_WM=4133a8e79d073a6e4444be1aecb1f5d9; SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WFjvcLkvsbHBY.bhyLEBkDS5JpX5KzhUgL.Foqf1hz7eKzcSoe2dJLoI7LP9g4GI.peKG.t; MLOGIN=1; SUB=_2A25I5SeKDeRhGeBL41AR8SzKzT-IHXVrmyVCrDV6PUJbktANLW__kW1NRsUK0DVE9PwTPckkLswxXPEQFm1G-kMC; SSOLoginState=1709266906; ALF=1711858906; M_WEIBOCN_PARAMS=luicode%3D20000174',
    # referer判断当前路径是否由上一个路径进来的，常用于图片的防盗链
    'Referer':'https: //weibo.cn/',
    # 'Sec-Ch-Ua-Mobile': '?0',
    # 'Sec-Ch-Ua-Platform': '"Windows"',
    # 'Sec-Fetch-Dest': 'document',
    # 'Sec-Fetch-Mode': 'navigate',
    # 'Sec-Fetch-Site': 'same-origin',
    # 'Sec-Fetch-User': '?1',
    # 'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}

# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
# 获取数据获取数据
content = response.read().decode('utf-8')
# 将数据保存到本地
fp = open("weibo.html", 'w', encoding='utf-8')
fp.write(content)

cookie 中携带着登录信息，如果header中包含了登录成功的cookie基本上什么页面都可以进入

referer 判断当前路径是否由上一个路径进来的，常用于图片的防盗链

Handler处理器

        handler定制更高级的请求头，随着业务逻辑的复杂，请求对象的定制已经满足不了我们的需求（动态cookie和代理不能使用请求对象的定制）

基本使用

其实就是三个单词对应三行代码

（1）handler      ：

handler = urllib.request.HTTPHandler()
（2）build_opener ：
opener = urllib.request.build_opener(handler)
（3）open         ：
response = opener.open(request)

整体代码如下：

import urllib.request

# 使用handler访问百度获得网页源码
import urllib.request

url = "http://www.baidu.com"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}

request = urllib.request.Request(url=url, headers=headers)

# handler  build_opener  open
# 获取handler对象
handler = urllib.request.HTTPHandler()

# 获取opener对象
opener = urllib.request.build_opener(handler)

# 调用open方法
response = opener.open(request)

content = response.read().decode('utf-8')

print(content)

代理服务器

普通代理

1.代理的常用功能?
        1.突破自身IP访问限制，访问国外站点。
        2.访问一些单位或团体内部资源
                扩展:某大学FTP(前提是该代理地址在该资源的允许访问范围之内)，使用教育网内地址段免费代理服务器，就可以用于对教育网开放的各类FTP下载上传，以及各类资料查询共享等服务。
        3.提高访问速度
                扩展:通常代理服务器都设置一个较大的硬盘缓冲区，当有外界的信息通过时，同时也将其保存到缓冲中区中，当其他用户再访问相同的信息时，则直接由缓冲区中取出信息，传给用户，以提高访问速度

        4.隐藏真实IP
                扩展:上网者也可以通过这种方法隐藏自己的IP，免受攻击，
2.代码配置代理
        创建Reugest对象
        创建ProxyHandler对象
        用handler对象创建opener对象
        使用opener.open函数发送请求

import urllib.request

url = "http://www.baidu.com/s?wd=ip"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}
# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)

# 模拟浏览器访问服务器
# response = urllib.request.urlopen(request)

# handler  build_opener    open
# proxies代理ip，以代理的形式存在
proxies = {
    'http': '111.13.12.202:80'
}
handler = urllib.request.ProxyHandler(proxies=proxies)

opener = urllib.request.build_opener(handler)

response = opener.open(request)

# 获取响应信息
content = response.read().decode('utf-8')

# 保存
with open('daili.html', 'w', encoding='utf-8') as fp:
    fp.write(content)

代理池

例如这样使用一堆ip分别访问，我这里没有循环的逻辑，大家自己加上就行

import urllib.request
import random

proxies_pool = [
    {'http': '111.13.12.202:80'},
    {'http': '111.13.12.203:80'},
    {'http': '111.13.12.204:80'}
]

proxie = random.choice(proxies_pool)
# print(proxie)

url = "http://www.baidu.com/s?wd=ip"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}

request = urllib.request.Request(url=url, headers=headers)

handler = urllib.request.ProxyHandler(proxies=proxie)

opener = urllib.request.build_opener(handler)

response = opener.open(request)

content = response.read().decode('utf-8')

with open('daili2.html', 'w', encoding='utf-8') as fp:
    fp.write(content)

import urllib.request
import random

proxies_pool = [
    {'http': '111.13.12.202:80'},
    {'http': '111.13.12.203:80'},
    {'http': '111.13.12.204:80'}
]

proxie = random.choice(proxies_pool)
# print(proxie)

url = "http://www.baidu.com/s?wd=ip"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36'
}

request = urllib.request.Request(url=url, headers=headers)

handler = urllib.request.ProxyHandler(proxies=proxie)

opener = urllib.request.build_opener(handler)

response = opener.open(request)

content = response.read().decode('utf-8')

with open('daili2.html', 'w', encoding='utf-8') as fp:
    fp.write(content)

总结

        注意headers携带cookie还有为了避免高频次的访问下的被拉黑问题，可以采用代理的模式或者使用代理池来达到目标效果

WenJGo
关注
  • 28
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python爬虫——总结小知识点
12-22
#服务器返回的类文件对象支持python文件对象的操作方法 #read()方法就是读取文件里面的全部内容，返回字符串 #此方法的缺点是不能构造，headers不能添加 #所以如下 headers = { "User-Agent":"Opera/9.80 (Windows ...
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
python爬虫实例——基于BeautifulSoup与urllib.request，思路是打开目标链接，并爬取通过BeautifulSoup一定区域中的img标签中的src进行保存。
Python爬虫——Urllib
z1171127310的博客
08-13 1216
Python爬虫
Python爬虫——Urllib库-2
DDDDWJDDDD的博客
03-01 1116
爬虫百度网盘，以及详细翻译，UA反扒以及cookie反扒
Python爬虫——urllib_下载
错过人间飞鸿的博客
07-12 938
urllibe下载网页、图片和视频
Python爬虫——urllib下载和订制请求对象
万里顾一程的博客
07-13 952
下载资源使用urllib.request模块的urlretrieve()方法，urllib.request.urlretrieve()：将URL对应的网络资源下载到本地，包括网页，图片和视频。 2、定制请求 绝大多数网站都具备一定程度的反爬能力，禁止网络爬虫程序大量地访问网站资源，以免给网站服务器带来压力，User-Agent（用户代理） 就是反爬策略的其中一种，很多网站都会对请求头Headers的User-Agent进行检测。用不同的浏览器在发送请求的时候，会有不同的User-Agent头：查看本机的浏览
Python爬虫——Urllib库-3
DDDDWJDDDD的博客
03-01 1282
ajax的get请求和post请求，爬取豆瓣视频数据和kfc门店数据
Python爬虫——urllib库介绍
Neonline254的博客
12-06 403
urllib是Python中一个用于操作url的模块，包括模拟向url发送请求、解析url内容并分析请求异常等，常用于编写爬虫脚本。
Python爬虫——urllib的基本使用
万里顾一程的博客
07-12 393
urllib 是Python3的内置模块，该模块能实现基本的网页爬取，基本上涵盖了基础的网络请求功能。urllib 库有四个模块：urllib.request，urllib.error，urllib.parse，urllib.robotparserurllib.request：发送http请求urllib.error：处理请求过程中,出现的异常。urllib.parse：解析urlurllib.robotparser：解析robots.txt 文件 执行结果，由于篇幅过长，只简单显示一下：[外链图片转存失败
Python爬虫——urllib_post请求百度翻译
错过人间飞鸿的博客
07-13 2074
urllib_post请求
Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器）
小菜鸡的小博客
03-30 8000
Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器） 这里写目录标题Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器）1.Python爬虫的工作过程1.1 获取网页1.2 提取信息1.3 保存数据2.获取一个 POST / GET 请求2.1 获取一个GET请求2.2 获取一个POST请求3.模拟访问页面超时4.假装自己是一个genuine browser 1.Python爬虫的工作过程 爬虫简介：网络爬虫就是按照一定规则，自动
Python爬虫（二）urllib库
05-17
不知有没空写下去——Python爬虫（二） urllib库 - CSDN博客 https://blog.csdn.net/lly1122334/article/details/80345038
我的爬虫学习之路——urllib（urllib2整合到了urllib）
12-22
urllib2在python3后已经合并在urllib中了，具体为urllib.response，urllib.request urllib2.URLError 改为了urllib.error.URLError 文章目录URLError与HTTPError下载网页（requests库也可以） URLError与HTTPError ...
python爬虫开发之urllib模块详细使用方法与实例全解
01-20
爬虫所需要的功能，基本上在urllib中都能找到，学习这个标准库，可以更加深入的理解后面更加便利的requests库。 首先 在Pytho2.x中使用import urllib2——-对应的，在Python3.x中会使用import urllib.request，...
【hackmyvm】Slowman靶机
woshicainiao666的博客
05-20 1466
发现/secretLOGIN/login.html为登录地址，根据账号密码登录发现一个zip，但是需要密码。在FTP中得到的账号，爆破一下SSH。上传linpeas.sh文件，报一下。SSH爆破无果，试试mysql。得到用户名和加密的密码。
学 Python 具体能干什么？
最新发布
猿小白的博客
05-26 503
Python 是一种功能强大、用途广泛的编程语言，因其简洁易读的语法和丰富的库生态系统而备受欢迎。
python中用“*”运算符复制列表时子列表实际上引用的是同一个列表，列表和嵌套列表的坑
ThreeS_tones的博客
05-21 763
当你修改了一个子列表的元素时，所有的子列表都会随之改变。因为他们实际上都是同一个子列表的引用。输出如下，可以看到每个子列表中的第5个元素相同，并没有实现从0.8-1.2分布。先看一个例子，我想改变load的子列表中第五个元素，从0.8-1.2分布。的时候，Python实际上。
《Python编程从入门到实践》day36
m0_37565294的博客
05-22 1283
我们要编写一个名为“学习笔记”的Web应用程序，让用户能够记录感兴趣的主题，并在学习每个主题的过程中添加日志条目。django-admin startproject learning_log . # 新建一个名为learning_log的项目，末尾的句点让新项目使用合适的目录结构。运行命令ls，其输出表明Django有创建一个db.sqlite3.SQLite使用一种使用单个文件的数据库。# 包含4个文件（settings.py、urls.py、wsgi.py、__init__.py）
python爬虫教程urllib
09-08
- *2* [Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器）](https://blog.csdn.net/qq_50587771/article/details/123840479)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630",...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WenJGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值