自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(63)
  • 资源 (2)
  • 收藏
  • 关注

原创 Pytest对协程异步函数进行单元测试

这是简单的pytest 测试协程异步的教程,主要是用来测试同步请求,aiohttp的session复用,不复用的请求性能比较,完整的测试源码已经放在 码云上 ,欢迎大家多提意见和建议

2024-05-26 20:23:23 253

原创 python的协程异步

在我们的程序执行过程中,IO 是我们最大的瓶颈。在示例1中只是两个协程任务,如果写任务有N个,那么这样子就不方便了,所以我们可以将多个任务放进任务列表,就像最上面的那个事件循环中的伪代码一样,可以将上面的示例1进行改造。asyncio.wait 方法,则返回的是一个元祖,有两个返回值,done是已经完成的任务,pending 表示还未完成的任务,这两个都是集合类型。但如果是 I/O 密集型的,协程因为不能利用多核的能力,那么它就不能应付了,所以得使用多核的能力,比如是"多进程/多线程+协程"的方案来处理。

2024-05-23 18:47:56 956

原创 selenium实战之爬取虎牙直播列表页

从页面结构来看,登录弹窗是在一个 id="UDBSdkLgn_iframe"的iframe中,所以我们在这里在进来时候,需要先切换到 iframe中,然后将窗口关闭。前面有了 selenium的基础,这里就拿虎牙直播页面来做一个实战测试,这是作为学习,测试使用,并不用作为商业用途,不刻意损害他人利益。我们需要把中间部分的列表页面内容给爬取下来,包括直播间封面,名称,主播昵称,头像,热度,游戏类别等。

2024-03-28 23:18:35 420

原创 python爬虫之selenium4使用(万字讲解)

声明以下的例子,只是来作为测试学习,并不作为真正的爬虫我们在浏览一些网站时,有不少内容是通过 JavaScript动态渲染的,或是 AJAX 请求后端加载数据,这其中涉及到了不少加密参数如 token,sign,难以找规律,较为复杂。像前面的百度贴吧的一个评论的回复,百度翻译等,都是经过ajax动态 加载得到。为了解决这些问题,我们可以直接模拟浏览器运行,然后爬取数据,这样就可以实现在浏览器中看到内容是怎么样了,不用去分析 JS 的算法,也不用去管 ajax 的接口参数了。

2024-03-28 02:26:10 3372

原创 python爬虫之xpath+多进程爬取百度贴吧实战

本项目采用 xpaht+进程池实战,来取百度贴吧的一篇评论实战,是用来学习用,没有别的商业用途和恶意请求。

2024-03-22 13:36:53 1087

原创 python之jsonpath的使用

JSONPath能在复杂的JSON数据中 查找和提取所需的信息,它是一种功能强大的查询语言,可以通过简单的表达式来快速准确地定位和提取JSON数据。本文将介绍JSONPath的基本语法和用法,并为您展示如何封装和使用JSONPath方法来处理和操作JSON数据。JSONPath类似于XPath提供了一种更简洁、灵活和高效的方式来查询、定位和提取JSON数据中的内容。

2024-03-20 00:27:20 873

原创 python爬虫之xpath入门

XPATH(XML Path Language),它可以在 XML 和 HTML文档中对元素和属性进行查找和遍历。XPath 使用路径表达式来选取 XML 文档中的节点或节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常类似。使用chrome 插件选择标签时候,选中时,选中的标签会添加属性class=“xh-highlight”

2024-03-19 23:24:26 1118

原创 腾讯云图形验证码的PHP示例

这是基于 thinkphp 调用腾讯云的图形验证码的接口示例,前端是自己用 jquery 实现有点陋

2024-03-16 22:34:56 771

原创 python的小技巧一

python 的常用小技巧收集,掌握后,可以提高开发效率

2024-03-16 21:42:49 1067

原创 Python之requests实现github模拟登录

前面学习了requests模块的基础学习后,接下来做一个实战应用,会涉及到requests的post 请求,请求头headers的设置,利用sesson保持 cookie状态等这是拿 github 模拟登录来对 requests模块的get, post方法,以及登录状态保持做的一个应用,主要是为了巩固知识点。它的登录机制还算是比较简单的,因为大部分值都是固定的可以获取到,像真正项目过程中,post 来源的数据都是需要调用接口,或 JS 逆向才能拿到。

2024-03-14 01:57:53 972

原创 python 之pymongo增删查改和管道操作

前面有了mongodb命令操作学习以及pymongo单例连接池的学习,"""批量插入数据,自定义_id@return:"""{"_id": 1, "name": "曹操"},{"_id": 2, "name": "曹丕"},{"_id": 3, "name": "典韦"},{"_id": 4, "name": "许诸"}pass。

2024-03-11 16:58:40 863

原创 python单例模式应用之pymongo连接

单例模式只允许创建一个对象,因此节省内存,加快对象访问速度,因此对象需要被公用的场合适合使用,如多个模块使用同一个数据源连接对象等等。需要频繁实例化然后销毁的对象。创建对象时耗时过多或者耗资源过多,但又经常用到的对象。有状态的工具类对象。频繁访问数据库或文件的对象。资源共享的情况下,避免由于资源操作时导致的性能或损耗等。如上述中的日志文件,应用配置。还有windows系统的回收站和任务管理器,只能打开一个。控制资源的情况下,方便资源之间的互相通信。

2024-03-10 19:10:52 1028

原创 mysql日常优化的总结

当前文章主要是以数据表结构优化,查询语句优化,数据库参数优化,以及数据库问题的如何分析定位来进行展开,因本人水平有限,先写到这里了,后续有新的知识点再补充。还希望各位在评论区多提改进建议!!!

2024-03-08 14:54:18 1017

原创 Python的网络请求模块requests

requests 库是一个 python中比较有名的 http请求的库,能处理 get,post,put,delete 等 restful请求,能设置 header,cookie,session 等操作,也是作为爬虫的基础库,它目前还不能异步请求,如果要支持异步,官网文档上也说,用 httpx 等代替。

2024-03-04 00:52:07 892

原创 转webp图片扩展安装笔记

全程都是源码包安装,这里的安装包是统一下载在宿主目录/root下以7.1.0为例 下载:从下图的描述中看,3.4.4是PHP5系列最后一个版本,这里是采用3.4.3以3.4.3为例 下载:这个很重要,yum安装的版本太低,imagemagic不识别,这导致webp始终安装不上以1.2.2为例 下载:由于libwebp,imagemagic安装完成,需要手动刷新动态库才生效,所以采用ldconfig来加载动态链接库,所以需要把/usr/local/lib加到配置文件中验证出现了这个错误

2024-02-05 03:20:31 873

原创 Git 常用命令速查

Git 常用的命令进行了梳理,便于工作中提高效率

2024-02-05 01:11:46 185

原创 Centos下MYSQL8的原生安装和数据存储目录迁移

虽然现在虽然有了docker,k8s比较方便了,但对于mysql这样的关系型数据库对IO的的要求比较高,在容器中网络,以及存储资源是共享的,这可能会影响数据的读写速度,所以不单单是数据库,建议对于高IO的服务还是安装在物理机上。在安装数据库的过程中,如果没有指定好数据库的存储目录,我们可以自己手动的来修改数据存储位置,一般都是放在数据盘,方便数据量大了以后来进行扩容。这里就是在centos下来原生搭建一个单机版的mysql数据库,后续还会搭建集群版。

2024-02-04 18:35:01 532

原创 Centos下redis的安装

由于Redis也是涉及到数据持久化,网络,在线扩容等问题,也是不建议部署在容器中。这里以在centos的单机版为例子进行原生安装。

2024-02-04 18:20:51 411

原创 Mysql的账户授权和忘记root密码处理

编辑mysql配置文件,找到[mysqld],在下面添加一行skip-grant-tables。编辑文件,找到[mysqld],删除skip-grant-tables这一行。重启mysql,这个时候mysql的root密码已经修改为123456。

2024-02-04 17:11:00 375

原创 linux安装源码包的一般步骤

/configure --prefix=/usr/local/xxx //prefix表示指定安装的路径。1.解压:tar -zxvf php-xxx.tar.gz。1.解压:tar -zxvf xxx.tar.gz。2.进入源码包目录:cd php-xxx。2.进入目录:cd xxx。

2024-02-04 16:34:15 170

原创 Portainer访问远程Docker (TLS加密)

安全访问远程docker的配置,避免Docker Remote API未授权访问漏洞

2024-02-02 22:36:24 580

原创 JAVA操作Rabbitmq-原理讲的很详细

这是转自稀土掘金,详细介绍Rabbitmq的文章,代码都用JAVA实现,值得收藏

2024-02-02 01:59:21 1265

原创 消息队列的应用场景

消息队列,MQ的说明

2024-02-02 01:26:08 617

原创 MongoDB操作命令大全

在 Mongodb5.0以后,像 insert(),update(),remove(),count()等重要方法被废弃,替换成其他的方法,具体看如下的修改记录。

2024-02-02 00:34:32 1155

原创 git 工具sourceTree远程拉取代码失败的解决

sourceTree 是一款git 管理工具,功能强大

2024-02-02 00:29:58 930

原创 Linux安装mongodb

记录在linux系统下安装mongodb数据库

2024-02-02 00:23:00 729

原创 有三种方法可以实现忽略Git中不想提交的文件:

.gitignore文件的配置说明

2024-02-01 06:03:30 8156

原创 gitlab操作手册

hotfix分支也叫维护分支或者热修复分支,用于快速给生产线上的产品打补丁用(比如客户在生产线上发现了紧急bug需要马上修复),这是唯一从master分支中去fork出来的分支,修复完成后,将修改的要合并到develop分支,master分支应该用新的版本号打好tag。接下来就来解决冲突,选择其中一行的内容,也可以两行都保留,很简单只需要>> develop去掉,在这个例子以develop分支修改的为主,然后再提交。可以理解成在master分支上处理的临时发布。

2024-02-01 05:53:17 1478

原创 vscode下python的设置

vscode下python的配置

2024-02-01 03:38:19 340

原创 python3基础学习一

python基础学习的一部分,后续会把函数,面向对象,常用工具包加上

2024-02-01 03:21:42 719

原创 python验证服务器或容器端口是否可以用

分享一个小技巧,使用python调用socket机制来验证端口是否被使用,后续就再写列出正在被使用的端口

2024-02-01 03:05:01 307

原创 java的字符和字节数组

本人在使用JAVA中的的一些挫见,希望高手指出宝贵意见

2024-02-01 02:45:26 317

原创 apache web服务内存泄露解决

apache的web服务内存泄漏问题排查以及解决

2024-02-01 01:32:05 477

原创 linux帮助纠正错误命令fuck

linux的小插件的使用

2024-02-01 01:18:22 200

原创 宝塔SSL证书配置规则

宝塔配置ssl证书

2024-02-01 01:12:18 251

原创 Java多线程基础

多线程基础学习笔记

2024-02-01 00:43:17 1096

原创 Java的JVM学习一

JVM入门基础笔记

2024-02-01 00:40:46 585

原创 IntelliJ IDEA for mac的代码模板

代码模板,快捷使用代码片段

2024-02-01 00:33:12 323

原创 IntelliJ IDEA for mac的自定义快捷键

mac下IDEA的自定义支持

2024-02-01 00:20:56 685

原创 IntelliJ IDEA的常用插件收集

JAVA的IDE工具,IDEA中的常用插件收集

2024-02-01 00:02:32 588 1

js数据缓存插件

JS对数据做缓存,应用场景,有的时候通过ajax去获取一些不是经常变动数据的时候,不用每次去请求,直接从缓存中去读取 1. 将数据设置到缓存: JsCache.set(key,value,expirs), expirs也可以不设置,默认是60秒 2. 读取缓存: JsCache.get(key)

2014-12-01

一个简单JS缓存数据类

这是一个用于缓存JS对象像(JSON,数组)都可以的一个小工具,在开发项目过程中,会比较实用。 JS对数据做缓存,应用场景,有的时候通过ajax去获取一些不是经常变动数据的时候,不用每次去请求,直接进缓存 1. 将数据设置到缓存: JsCache.set(key,value,expirs), expirs也可以不设置,默认是60秒 2. 读取缓存: JsCache.get(key)

2014-11-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除