Python3中urllib的一点坑

最新推荐文章于 2024-04-10 08:55:50 发布
最新推荐文章于 2024-04-10 08:55:50 发布
阅读量715 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yichengace/article/details/73113853
版权
本文探讨了在Python3中使用urllib模块进行自动化测试时遇到的问题。作者试图通过抓包获取多个城市子站的类别，并逐一访问，以此进行自动化测试的初步尝试。
摘要由CSDN通过智能技术生成

最近想研究下自动化测试，公司的网站下分成了很多个城市的子站，于是，想通过抓包的方式获得所有城市类别，然后逐一访问

第一步就是

遍历所有城市，然后输出list，为后续自动化做准备
用selenium+re已经可以实现了，但是这个功能好像并不需要selenium，只需要能获得数据就好了，于是想研究下urllib这个库。
prcharm这个ide中提供了很多


但是直接选择urllib之后，安装时报错了大意是版本太高了
<
最低0.47元/天 解锁文章
yichengace
关注
专栏目录
urllib.request优缺点和cookie及proxy切换
weixin_57273127的博客
05-07 574
urllib.request优缺点 优点 将proxy，cookie，重定向等功能做成插件式，并对这些插件排序管理，用于在网络访问时各个功能按次使用 集成http、https、ftp等应用层协议 默认自动处理 http 300 系列重定向响应 采用【connection:close】方式来作为数据接收完成的信号，不再用底层的 http.client 的 【Content-Length】来作为数据接收完成的判断 缺点 【connection:close】是把双刃剑，每访问一次，就要建立-关闭一次连接，耗
Python3爬虫之urllib使用
haeasringnar的博客
01-09 4630
这里是一个小demo，用来模拟一个百度搜索，并保存搜索到的页面import urllib.request import urllib.parse kw = input('请输入您要搜索的内容：') data = { 'wd':kw, } data = urllib.parse.urlencode(data) #url编码，否则就使用不了这个url url = 'https://www.
urllib缺点
weixin_42589700的博客
12-25 150
urllib是Python标准库中的网络库，用于处理URL的请求和响应。它的缺点是: 使用较为复杂，需要编写很多代码才能实现简单的请求。 不支持异步操作，需要通过线程或进程来实现并发。 只支持基本的HTTP功能，如果需要更高级的功能，如代理、认证、Cookies等，就需要自己实现。 对于SSL/TLS加密的网站，需要额外安装模块才能使用。 总的来说，urllib虽然是Python标准库...
使用python中的hashlib和urllib亲身遇到的坑
mr~li的博客
11-23 499
背景： 1，调用第三方接口时有要求：参数1，参数2，参数3 2，参数1 接收手机号，参数2自己任意指定，参数3是token值，此值是使用参数1的值和（参数2的值经过url编码后的结果）组合成的值作为参数经过md5加密生成的结果（token=md5(参数1+参数2.urlencode())） 我所说的坑在哪呢？ 就是在对参数2进行url编码时遇到的，首先python中对值进行url编码...
Python3 升级urllib3所遇到问题以及解决
jimmyleeee的专栏
07-05 1万+
今天安装一个python的软件时，总是提示：selenium 4.1.3 requires urllib3[secure,socks]~=1.26, but you have urllib3 1.25.8 which is incompatible.通过字面意思可以知道：依赖的是urllib 1.26，但是系统里却只有urllib3 1.25.8 的包。于是，执行命令：pip3 install --upgrade urllib3 想把urllib3升级一下，执行命令结果如下：显示已经成功地安装了urll
python爬虫的urllib库详解，2024年最新字节跳动面试官迟到
最新发布
2301_82241942的博客
04-10 593
①　2000多本Python电子书（主流和经典的书籍应该都有了）②　Python标准库资料（最全中文版）③　项目源码（四五十个有趣且经典的练手项目及源码）④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）⑤ Python学习路线图（告别不入流的学习）
python爬虫遇到的坑1——关于urllib.request.Request中的data参数
qq_43654105的博客
01-09 1839
今天在写爬虫的时候死活运行不了 import urllib.request import urllib.parse page = int(input('请输入页码：')) if page < 1: print('页码输入错误，请输入大于等于1的数字') url = 'https://maoyan.com/films?showType=3&' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64
Python[3]: ModuleNotFoundError: No module named 'XXX' 怎么解决
java技术专家全栈成长之路
11-26 3422
在我们初步学习Python知识的时候，我们需要经历一些坑，就是学习的时候明明是源码则呢就是不能运行呢？》 1、运行时No module 错误提示 下面就是我经历的几个坑： 主要原因是按照的Python环境并没有集成所有的函数库，需要手动去查看； 重点是安装环境的时候一定要确保按照pip正确无误。 然后遇到下面问题时候就很好解决了 ModuleNotFoundError: No modu...
python高级—— 从趟过的坑中聊聊爬虫、反爬、反反爬，附送一套高级爬虫试题
09-30 6764
前言： 时隔数月，我终于又更新博客了，然而，在这期间的粉丝数也就跟着我停更博客而涨停了，唉 是的，我改了博客名，不知道为什么要改，就感觉现在这个名字看起来要洋气一点。 那么最近到底咋不更新博客了呢？说起原因那就多了，最主要的还是没时间了，是真的没时间，前面的那些系列博客都还没填坑完毕的（后续都会填上的） 最近有点空余就一直在开发我的项目，最近做了两个项目： IPproxy，看名字就知道啦...
python urllib3 requests
10-03
python urllib3 requests
c#使用正则表达式获取TR中的多个TD_使用python+BeautifulSoup爬取微博热搜榜
weixin_39533361的博客
11-21 528
本文将介绍基于Python使用BeautifulSoup爬取微博热搜榜的实现过程1、首先导入需要使用的库from bs4 import BeautifulSoup from urllib.request import urlopen import re 2、打开网页，将饱满的网页做成美味的汤（滑稽）。 注意decode('utf-8')是为了解析并显示中文网站，features='lx...
python ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the ‘ssl‘
qq_35640866的博客
06-20 3070
安装1.1.1 版本以上的openssl 需要确认安装的版本， 之间安装可能版本不对，可能需要更新安装源，或者源码安装。方法2、 升级运行操作系统的OpenSSL 版本。方法1、 降低urlib 版本。
Web安全攻防渗透测试
m0_63223219的博客
04-05 6987
1. Nmap的基本 Nmap + ip 6+ ip Nmap -A 开启操作系统识别和版本识别功能 – T（0-6档） 设置扫描的速度 一般设置T4 过快容易被发现 -v 显示信息的级别，-vv显示更详细的信息 192.168.1.1/24 扫描C段 192.168.11 -254 =上 nmap -A -T4 -v -iL ~/targets.txt (iL表示要扫描的目标位于一个文档中) --------------- 192.168.1.1/24 ...
Python爬虫ValueError:Timeout value connect was ＜object object at 0x00001782E5847F0＞,but it must be an
m0_64343314的博客
07-09 1203
后面再次运行程序即可成功。
李明珂笔记
m0_67879481的博客
04-07 356
1. Nmap的基本 Nmap + ip 6+ ip Nmap -A 开启操作系统识别和版本识别功能 – T（0-6档） 设置扫描的速度 一般设置T4 过快容易被发现 -v 显示信息的级别，-vv显示更详细的信息 192.168.1.1/24 扫描C段 192.168.11 -254 =上 nmap -A -T4 -v -iL ~/targets.txt (iL表示要扫描的目标位于一个文档中) --------------- 192.168.1.1/24 --exclu...
迷惑小错 之 ：requests.exceptions.ProxyError
bmx_rikes的博客
04-14 808
缘由 当打开代理或者抓包工具时 pycharm运行发包请求报错： requests.exceptions.ProxyError。关掉代理后又能正常的请求，这样对于我们日常操作很不方便吗。四处查找资料无果后很是头大，有幸在群中看到大佬回答了此问题，果断记下 ##原因 urllib3的版本过高，可能存在bug， 有兴趣的可以去GitHub的urllib3模块issues了解了解 ##解决版本 urllib3 降低版本： pip uninstall urllib3 —> pip install urllib
关于pycharm在安装requests模块时出现：urllib3 v2.0 only supports OpenSSL 1.1.1+
qq_39044681的博客
05-06 6924
3.在左侧选中urllib3后，在右下方的specify verison下拉框中选择1.26版本。4.左下角选择install package即可。原因：是由于urllib3模块的版本过高导致的。2.点击右侧+号，在搜索框中输入urllib3。
python 本地降级pip
热门推荐
weixin_42264987的博客
07-05 1万+
由于公司网络限制，通过下载pip包实现本地降级pip，另附pycharm降级pip方式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值