Python/算法
Python/算法
墨痕诉清风
始于情,行于心。
展开
-
AI编码插件(CodeGeeX)
直接代码处右键鼠标即可呼出。直接在插件中搜索下载即可。原创 2024-07-23 10:51:46 · 314 阅读 · 0 评论 -
Python从多条日志中计算时间戳用时多少秒
从多条日志中计算时间戳用时多少秒。原创 2024-04-19 16:18:48 · 164 阅读 · 0 评论 -
Python中按列表中的字典某字段对列表进行排序
列表中有多个字典,按字典中某个字段进行排序。原创 2024-04-17 15:03:28 · 309 阅读 · 0 评论 -
Python requests库请求封装
传入参数后自动判定方法类型、方法参数格式化进行请求访问。原创 2024-02-06 15:02:51 · 455 阅读 · 0 评论 -
Python算法,字符串相似度比较(重放相似度比较)
https://mohen.blog.csdn.net/article/details/1079204671. 判断两个字符串相似度衍生需求1. 如果重放后相似,说明是公共接口,也就是说结果越相似,则越大于 0.872. 如果是公共接口则退出参数解释sr:源请求响应值.textmr:修改后的请求响应值.textno_query_paramater_res:没有参数的请求响应值.text原创 2024-02-05 14:22:14 · 642 阅读 · 0 评论 -
Python requests_raw库介绍及使用(mitmproxy)
使用请求发送HTTP原始套接字,很明显看上去可以直接使用 bp 请求信息使用。显式隐式函数是mitmproxy中的一个内部函数,用于将各个部分的数据组装成一个完整的 HTTP 请求。method:请求方法,例如 "GET"、"POST" 等。scheme:请求协议,例如 "http"、"https"。host:请求的主机名。port:请求的端口号。path:请求的路径。:HTTP 版本,默认为 "HTTP/1.1"。headers:请求头部,一个字典类型。content。原创 2024-02-02 10:10:25 · 1147 阅读 · 0 评论 -
Python 各种cookie格式化(EditThisCookie、playwright)
【代码】Python 各种cookie格式化(EditThisCookie、playwright)原创 2024-01-31 10:36:42 · 688 阅读 · 0 评论 -
Python 流静态文件过滤、端口过滤、同域过滤(host过滤)、代理拦截
流量中的url包含大量静态文件请求信息,过滤掉。过滤掉不进行处理的端口url。过滤掉非同源的url。原创 2024-01-25 15:50:11 · 531 阅读 · 0 评论 -
Python yml配置文件实例
【代码】Python yml配置文件实例。原创 2024-01-24 18:19:06 · 683 阅读 · 0 评论 -
Python 多文件内容去重写入一个文件中(Payload去重)
1. 在进行渗透测试过程中,有多个字典,内容有重叠部分。2. 现需将所有字典内容去重后的内容写入一个字典中。原创 2024-01-19 17:18:34 · 468 阅读 · 0 评论 -
Python 自动调整大小打印logo
pyfiglet是一个Python库,用于生成ASCII艺术风格的文字图形(例如,像街机风格的游戏标题)。使用这个函数,你可以将任何字符串转换为ASCII艺术,使其在控制台或终端中以艺术化的方式显示。缺点:不支持中文。原创 2024-01-17 11:11:16 · 519 阅读 · 0 评论 -
Python Ping主机存活模块(Ping域名)
利用 Ping 命令检查主机存活或宕机。原创 2024-01-17 11:10:48 · 422 阅读 · 0 评论 -
Python两次不同的请求同一url后的响应比较获取不同处(diff、差异值、网页内容比较)
2. 分别请求同一个url。3. 比较两次请求后的响应。原创 2024-01-05 15:31:46 · 523 阅读 · 0 评论 -
Python从请求头中获取参数(Burp Suite)
从入参中获取所有参数已 key :value 方式展示出。1. Burp Suite 拷贝的请求头信息。2. 爬虫抓取的请求头信息。2. post请求中的参数。url参数分三种情况。原创 2024-01-05 15:31:08 · 756 阅读 · 0 评论 -
Python输出带颜色字体封装类
2. 配合调式模式输出,例如 debug 则打印输出。1. 命令行窗口输出的打印日志带有对应的预警颜色。原创 2023-12-27 11:57:10 · 566 阅读 · 0 评论 -
celery是封装记录
ignore_result参数:如果使用该参数,则当调用 load_and_run_plugin.delay(module_path, data, task_meta) 函数时,返回值将无法获取。头文件中的 sys.path.append("./") 必不可缺,否则动态调用模块无法获取正确的路径。设置celery 参数 与 redis 连接。在入口文件中 include 中。celery启动时调用的主程序。用于异步动态调用模块使用。这里注意一处注释的代码。原创 2023-12-21 11:41:17 · 563 阅读 · 0 评论 -
Python pymongo类封装记录
功能1:连接数据库,并连接集合(没有数据库则创建数据库,没有集合则创建集合)功能3:以 task_id 为基准查询数据。功能4:以 task_id 为基准更新数据。功能5:以 task_id 为基准删除数据。原创 2023-12-13 15:57:42 · 652 阅读 · 0 评论 -
Python 分解IP段获取所有IP(子网掩码)
IP段格式已 "," 分割,获取所有IP。2. 去除多余的字符,例如空格、换行符。1. 判断 IP 是否合规。原创 2023-11-29 09:31:24 · 1031 阅读 · 0 评论 -
Python 判断域名是否合规且是否可访问
2. 该域名是否活着(可访问)获得参数为域名的字符串后。1. 判定是否为合规域名。原创 2023-11-28 15:30:12 · 884 阅读 · 0 评论 -
Python dns域名解析(dns.resolver)
【代码】Python dns域名解析(dns.resolver)原创 2023-11-28 11:42:52 · 1110 阅读 · 0 评论 -
Linux 离线安装最新Python(3.12)设置独立virtualenv(venv)环境
【代码】Linux 离线安装最新Python(3.12)设置独立virtualenv(venv)环境。原创 2023-10-12 17:30:13 · 2876 阅读 · 2 评论 -
弱口令检测服务实现(多进程多线程、圣)
【代码】弱口令检测服务实现(多进程多线程、圣)原创 2023-11-07 14:46:05 · 420 阅读 · 0 评论 -
Python 获取syslog日志,过滤多余数据保留json数据
","SvrIP":"192.168.1.134","cTo":""}]","SvrIP":"192.168.1.134","cTo":""}kafka中存储着syslog日志,需将消费kafka的同时,将不需要的数据过滤掉,保存后面的json个数的数据。原创 2023-11-03 15:55:33 · 736 阅读 · 0 评论 -
Django添加csrf保护机制
3. 在views.py函数中,确保请求的方法为POST时,Django会自动验证CSRF令牌。如果验证失败,将引发一个。启用CSRF保护后,Django将自动为每个请求生成和验证CSRF令牌。确保在表单中包含CSRF令牌,并使用。,在使用CSRF保护时,确保在每个需要进行POST请求的表单中包含。生成一个隐藏的输入字段,其中包含CSRF令牌。通常,这个中间件默认就会包含在其中。装饰器来保护需要进行POST请求的视图函数。2. 在HTML模板中,确保在表单中包含。模板标签,否则请求将被拒绝。原创 2023-10-31 14:43:51 · 150 阅读 · 0 评论 -
Django开发实例总结(入门级、4.2.6、详细)
Django是一个用于构建Web应用程序的高级Python Web框架。它遵循了MVC(Model-View-Controller)的软件设计模式,并采用了MTV(Model-Template-View)的变种。模型(Model)、模板(Template)、视图(Views)。1. 确保在文件中,TEMPLATES......},这将告诉Django在`myapp`应用程序的`templates`目录中查找模板文件。2. 在urls.py文件中正确配置了URL模式。原创 2023-10-31 14:06:34 · 2363 阅读 · 0 评论 -
Python3 判断操作系统类型(platform)
模块来确定你正在使用的操作系统类型。函数获取操作系统的名称。然后根据返回的名称来判断操作系统类型。在Python中,你可以使用。原创 2023-10-13 10:52:05 · 656 阅读 · 0 评论 -
pyflink读取kafka数据写入mysql实例
【代码】pyflink读取kafka数据写入mysql实例。原创 2023-10-09 14:15:57 · 1150 阅读 · 1 评论 -
http请求头字符串转字典格式
获取请求头,格式为字符串,每行请求头以 "\n" 为结尾。现需要自动将字符串格式转换为字典格式。原创 2023-09-04 15:28:44 · 290 阅读 · 0 评论 -
Python 类内置函数__next__()用法记录
_next__()函数定义迭代对象某变量。通过使用__next__()函数定义对象的迭代,可以更加灵活地控制迭代过程,甚至实现对无穷序列的迭代。同时,还可以结合其他Python内置的迭代功能(如生成器、yield关键字等)来实现更复杂的迭代逻辑。原创 2023-09-01 10:25:55 · 737 阅读 · 0 评论 -
Python清空文件内容
在处理完成任务后将结果输出到文件中,使用完文件内容后马上清空文件内的信息。open函数 w+参数用这个模式将任意类型文件打开,都会将其中所有内容都直接清除掉。不过该方法只能够对文本类型的文件进行操作,也就是可以用编辑器或记事本打开的文件,代码如下:方法二truncate(0)调用此方法,这个方法的作用是截断文件中指定位置后的字符。并且会将文件指针移动到这个位置上,之后写入数据就是从指针位置开始,那么它实际上起到的也是覆盖文件内容的作用。传入参数为0就表示从文件开头位置截断内容,字符索引0之后,包原创 2023-03-26 15:49:04 · 4063 阅读 · 0 评论 -
Python3 第三方线程池threadpool多参数和结果处理总结
Python3 第三方线程池threadpool多参数和结果处理总结原创 2023-02-03 16:58:13 · 1184 阅读 · 0 评论 -
Python3 confluent_kafka消费及生产封装(异步并发性能最优)
kafka是高效的数据流处理平台。可以理解为数据的写入和读取的“中转站”。原创 2023-01-31 18:14:50 · 1245 阅读 · 0 评论 -
Python协程asyncio异步编程结合uvloop性能提升
和我们以前常用的gevent模块相似,asyncio模块也是在Python中实现协程的模块区别是gevent是第三方库,通过greenlet实现协程,遇到I/O自动切换(自动挡)asyncio是Python 3.4版本引入的标准库,asycio 需要自己在代码中让出CPU,控制权在自己手上(手动挡)asyncio是原生协程关键字:Async和Await,它们的底层基于生成器函数uvloop 是python圈子里近两年被抄的相当火热的高性能框架,uvloop是个高性能。原创 2023-01-29 16:48:32 · 653 阅读 · 1 评论 -
Python协程性能测试asyncio vs gevent(异步并发)
很多异步io操作这两个库都可以用,只是他们在不同场景下的效率和易用性可能有区别,当然这个得进行深入的测试和研究,单就现在普通的场景来说,区别并不大。纯用 asyncio 性能可以做到 redis 的 68%,而加上 uvloop 后可以做到 redis 的 88%,当然程序比较简单,没有复杂的数据处理,主要就是测评网络 I/O 性能。gevent 用会替换标准库,你以为调用的是标准库的方法实际已经被替换成gevent自己的实现,遇到阻塞调用,gevent会自动让出CPU。原创 2023-01-29 14:14:47 · 2106 阅读 · 0 评论 -
Python Kafka客户端性能测试比较
由于工作原因使用到了 Kafka,而现有的代码并不能满足性能需求,所以需要开发高效读写 Kafka 的工具,本文是一个 Python Kafka Client 的性能测试记录,通过本次测试,可以知道选用什么第三方库的性能最高,选用什么编程模型开发出来的工具效率最高。原创 2023-01-18 16:20:25 · 1331 阅读 · 0 评论 -
Python操作ElasticSearch(Python操作ES)
scroll,翻页查询(数据量小可以使用此方法,数据量大推荐使用search_after方法–见下一个方法)通过指定字段,只显示数据的指定字段信息(默认显示所有字段的信息)此方法是默认查询,由于没有任何筛选条件,会默认显示前10条数据的所有信息。注:内容中的下划线,等标点符号会被忽略,有与没有的效果一样。类似于mysql中的where ziduan=‘a’注:此方法只能查询一个字段,且只能指定一个值。通过制定body,进行条件查询。类似于mysql中的where。原创 2022-12-28 16:38:54 · 4021 阅读 · 1 评论 -
Python3 filter函数使用
序列的每个元素作为参数传递给函数进行判断,然后返回 True 或 False,函数用于过滤序列,过滤掉不符合条件的元素,返回由符合条件元素组成的新列表。Python2.7 返回列表,Python3.x 返回迭代器对象。最后将返回 True 的元素放到新列表中。第一个为函数,第二个为序列。原创 2022-12-26 15:56:51 · 331 阅读 · 0 评论 -
Python的pyhanlp库使用(自然语言识别、姓名)
text = "3月4日,在北京2022年冬残奥会开幕式上,一本精致美观的手册出现在每位观众和嘉宾的手中,\这是由北京印刷学院教授夏小奇带领团队设计的《北京2022年冬残奥会开幕式》手册,\在色彩氛围、页码设计、纸张选用等方面都做了暖心设计。"# 提取文本中的2个关键句作为摘要,返回列表[这是由北京印刷学院教授夏小奇带领团队设计的《北京2022年冬残奥会开幕式》手册, 在北京2022年冬残奥会开幕式上]原创 2022-11-21 20:16:37 · 1588 阅读 · 0 评论 -
Python验证信用卡号码是否有效
一个信用卡号必须是13到16位的整数1954年,IBM的Hans Luhn提出一种算法,用于验证信用卡号的有效性。这个算法在确定输入的卡号是否正确,或者这张信用卡是否被扫描仪正确扫描方面是非常有用的。银行卡的第一位数4,指Visa信用卡5,指Master万事达卡37,指American Express 国际信用卡6,指Discover 信用卡1.从右到左对偶数位数字翻倍。如果对某个数字翻倍之后的结果是一个两位数,那么就将这两位加在一起得到一位数。2.现在将第一步得到的所有一位数相加。原创 2022-11-17 17:49:33 · 1835 阅读 · 0 评论 -
Python 解密HTTP协议中的br压缩数据
什么是brbr 指的是 Brotli,是一种全新的数据格式,无损压缩,压缩比极高(比gzip高的)原创 2022-11-16 10:52:31 · 1800 阅读 · 1 评论