python
文章平均质量分 82
hjc_042043
老码农
展开
-
socket学习python版
写这篇文章,主要用来作为学习总结昨儿笔记,好记性不如烂笔头,并非用作商业用途。Python异步网络编程实战Python3高级核心技术97讲三次握手和四次挥详解。原创 2024-06-23 00:54:20 · 716 阅读 · 0 评论 -
Pytest对协程异步函数进行单元测试
这是简单的pytest 测试协程异步的教程,主要是用来测试同步请求,aiohttp的session复用,不复用的请求性能比较,完整的测试源码已经放在 码云上 ,欢迎大家多提意见和建议原创 2024-05-26 20:23:23 · 361 阅读 · 0 评论 -
python的协程异步
在我们的程序执行过程中,IO 是我们最大的瓶颈。在示例1中只是两个协程任务,如果写任务有N个,那么这样子就不方便了,所以我们可以将多个任务放进任务列表,就像最上面的那个事件循环中的伪代码一样,可以将上面的示例1进行改造。asyncio.wait 方法,则返回的是一个元祖,有两个返回值,done是已经完成的任务,pending 表示还未完成的任务,这两个都是集合类型。但如果是 I/O 密集型的,协程因为不能利用多核的能力,那么它就不能应付了,所以得使用多核的能力,比如是"多进程/多线程+协程"的方案来处理。原创 2024-05-23 18:47:56 · 1134 阅读 · 0 评论 -
selenium实战之爬取虎牙直播列表页
从页面结构来看,登录弹窗是在一个 id="UDBSdkLgn_iframe"的iframe中,所以我们在这里在进来时候,需要先切换到 iframe中,然后将窗口关闭。前面有了 selenium的基础,这里就拿虎牙直播页面来做一个实战测试,这是作为学习,测试使用,并不用作为商业用途,不刻意损害他人利益。我们需要把中间部分的列表页面内容给爬取下来,包括直播间封面,名称,主播昵称,头像,热度,游戏类别等。原创 2024-03-28 23:18:35 · 500 阅读 · 0 评论 -
python爬虫之selenium4使用(万字讲解)
声明以下的例子,只是来作为测试学习,并不作为真正的爬虫我们在浏览一些网站时,有不少内容是通过 JavaScript动态渲染的,或是 AJAX 请求后端加载数据,这其中涉及到了不少加密参数如 token,sign,难以找规律,较为复杂。像前面的百度贴吧的一个评论的回复,百度翻译等,都是经过ajax动态 加载得到。为了解决这些问题,我们可以直接模拟浏览器运行,然后爬取数据,这样就可以实现在浏览器中看到内容是怎么样了,不用去分析 JS 的算法,也不用去管 ajax 的接口参数了。原创 2024-03-28 02:26:10 · 6774 阅读 · 0 评论 -
python爬虫之xpath+多进程爬取百度贴吧实战
本项目采用 xpaht+进程池实战,来取百度贴吧的一篇评论实战,是用来学习用,没有别的商业用途和恶意请求。原创 2024-03-22 13:36:53 · 1164 阅读 · 0 评论 -
python之jsonpath的使用
JSONPath能在复杂的JSON数据中 查找和提取所需的信息,它是一种功能强大的查询语言,可以通过简单的表达式来快速准确地定位和提取JSON数据。本文将介绍JSONPath的基本语法和用法,并为您展示如何封装和使用JSONPath方法来处理和操作JSON数据。JSONPath类似于XPath提供了一种更简洁、灵活和高效的方式来查询、定位和提取JSON数据中的内容。原创 2024-03-20 00:27:20 · 960 阅读 · 0 评论 -
python爬虫之xpath入门
XPATH(XML Path Language),它可以在 XML 和 HTML文档中对元素和属性进行查找和遍历。XPath 使用路径表达式来选取 XML 文档中的节点或节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常类似。使用chrome 插件选择标签时候,选中时,选中的标签会添加属性class=“xh-highlight”原创 2024-03-19 23:24:26 · 2526 阅读 · 0 评论 -
python的小技巧一
python 的常用小技巧收集,掌握后,可以提高开发效率原创 2024-03-16 21:42:49 · 1111 阅读 · 0 评论 -
Python之requests实现github模拟登录
前面学习了requests模块的基础学习后,接下来做一个实战应用,会涉及到requests的post 请求,请求头headers的设置,利用sesson保持 cookie状态等这是拿 github 模拟登录来对 requests模块的get, post方法,以及登录状态保持做的一个应用,主要是为了巩固知识点。它的登录机制还算是比较简单的,因为大部分值都是固定的可以获取到,像真正项目过程中,post 来源的数据都是需要调用接口,或 JS 逆向才能拿到。原创 2024-03-14 01:57:53 · 1123 阅读 · 0 评论 -
python 之pymongo增删查改和管道操作
前面有了mongodb命令操作学习以及pymongo单例连接池的学习,"""批量插入数据,自定义_id@return:"""{"_id": 1, "name": "曹操"},{"_id": 2, "name": "曹丕"},{"_id": 3, "name": "典韦"},{"_id": 4, "name": "许诸"}pass。原创 2024-03-11 16:58:40 · 939 阅读 · 0 评论 -
python单例模式应用之pymongo连接
单例模式只允许创建一个对象,因此节省内存,加快对象访问速度,因此对象需要被公用的场合适合使用,如多个模块使用同一个数据源连接对象等等。需要频繁实例化然后销毁的对象。创建对象时耗时过多或者耗资源过多,但又经常用到的对象。有状态的工具类对象。频繁访问数据库或文件的对象。资源共享的情况下,避免由于资源操作时导致的性能或损耗等。如上述中的日志文件,应用配置。还有windows系统的回收站和任务管理器,只能打开一个。控制资源的情况下,方便资源之间的互相通信。原创 2024-03-10 19:10:52 · 1190 阅读 · 0 评论 -
Python的网络请求模块requests
requests 库是一个 python中比较有名的 http请求的库,能处理 get,post,put,delete 等 restful请求,能设置 header,cookie,session 等操作,也是作为爬虫的基础库,它目前还不能异步请求,如果要支持异步,官网文档上也说,用 httpx 等代替。原创 2024-03-04 00:52:07 · 1262 阅读 · 0 评论 -
vscode下python的设置
vscode下python的配置原创 2024-02-01 03:38:19 · 388 阅读 · 0 评论 -
python3基础学习一
python基础学习的一部分,后续会把函数,面向对象,常用工具包加上原创 2024-02-01 03:21:42 · 757 阅读 · 0 评论 -
python验证服务器或容器端口是否可以用
分享一个小技巧,使用python调用socket机制来验证端口是否被使用,后续就再写列出正在被使用的端口原创 2024-02-01 03:05:01 · 357 阅读 · 0 评论 -
python下的pip3使用指南
如果我们用了anaconda,这个是虚拟环境可以使用多个python版本,每个版本的依赖包都是隔离的。那么在安装使用pip的时候,需要先切换环境,默认是base。默认情况下pip使用的是国外的镜像,在下载的时候速度非常慢,所以需要将pip的官方软件源服务器换成国内的镜像服务器,从而提升Python软件包安装效率和成功率。在linux和macos,配置文件为:$HOME/.pip/pip.conf。在windows上,配置文件为:%HOME%\pip\pip.ini。原创 2023-08-17 18:19:34 · 3605 阅读 · 2 评论