- 博客(241)
- 收藏
- 关注
RSS订阅原创 linux 控制台非常好用的 PS1 设置
经过本人实践总结的，写上上面的语句，控制台就非常好用，可以显示本机ip 本机名字 文件夹全路径 当前时间，并且自动换行到下一行开始写，非常好用。
2024-07-01 14:50:47
317
原创 linux 控制台非常好用的 PS1 设置
经过本人实践总结的，写上上面的语句，控制台就非常好用，可以显示本机ip 本机名字 文件夹全路径 当前时间，并且自动换行到下一行开始写，非常好用，
2024-07-01 14:46:40
260
原创 cahtgtp写代码真的太强了,暴击百度
例如我希望把reuests的Response对象转化成curl语句,我让chatgtp来实现,chatgtp实现的很准确,cahtgtp确实是好帮手,5秒内搞定,如果人来写最起码要花1分钟了.百度搜索只能根据关键字来模糊搜索,不能理解人类的语言,所以打字必须非常精确才能搜到,如果搜搜语句超过了10个汉字,搜索结果质量太差了.而百度就比较傻了,你突然搜索一个 "那喝五粮液呢",百度出来都是广告,百度不会认为你是在问和五粮液能不能开车,所以百度心累.,这两句分别在chatgtp和百度搜索,那就完全不一样了,
2023-11-23 10:57:06
250
1
原创 python-fire 链式调用解决命令行无法自动结束
可以加一个def get_result 方法 return self.result,那么命令行就是 python calculator.py add 5 sub 2 mul 3 div 4 get_result,这样不太优雅,本人建议写 _str_ ,这样就可以自动结束命令行,也能自动获取结果.python-fire 链式调用,可以一个命令行运行多个命令(也就是连续调用多个方法),calculator.py 代码。
2023-11-07 11:37:33
193
原创 python 按大小切割多进程安全文件日志concurrent_log_handler.ConcurrentRotatingFileHandler性能很差
python 多进程安全切割日志
2023-07-09 22:54:41
1018
1
原创 支持pycahrm代码自动补全的库才是好库，不能代码补全的库很垃圾。fastapi暴击flask...
看看fastapi的 源码，application.py 和 routing.py 两个文件里面的post delete get put等方法，全部入参几乎99%一摸一样，高度重复了近上千行代码，但是我支持。但是因为这些方法被用户频繁的使用，可以说是最重要最频繁的公有方法，官方宁愿在源码重复声明无数次，也不愿意粗暴使用 *args **kwargs代替。python的很多库在代码补全方面很垃...
2022-09-06 20:26:00
172
原创 python fastapi + uvicorn 记录日志的最佳实践，结合nb_log
python fastapi + uvicorn 记录日志的最佳实践，要记录对fastapi什么时候请求了什么url和入参，只需要记录uvicorn命名空间的日志就可以了。文章使用nb_log 五彩日志来记录web后台的控制台日志 + 多进程安全切割的文件日志。fastapiweb222.py 文件内容。from pathlib import Pathimport uvicornf...
2022-09-06 20:02:00
4276
6
原创 python 三引号回车不能自动生成函数注释的问题
不能自动生成注释要自己敲就很麻烦了去File | Settings | Tools | Python Integrated Tools | Docstring format 这里改成你想要的格式，然后再回去看看你的三个引号。没有函数注释的情况下是plain。改成reStucturedText。...
2022-08-19 09:46:00
132
原创 解决 pymongo 在linux 的子进程中操作父进程的链接报错，MongoClient opened before fork. Create MongoClient only after fork...
linux上不能在子进程中操作全局变量client的链接，否则报错。需要说明的是win的多进程不是fork实现的，所以子进程操作client没事封装1个get_col的函数就行了。判断pid。 1 import os 2 from multiprocessing import Process 3 4 import pymongo.collection 5 from auto_ru...
2022-02-15 14:04:00
93
原创 deepin v20系统不能xshell shh连接的解决，以及如何设置root账号的密码
vi /etc/ssh/sshd_config# Authentication:#LoginGraceTime 2m#PermitRootLogin prohibit-password#StrictModes yes修改后# Authentication:LoginGraceTime 2mPermitRootLogin yesStrictModes yes记得# Authe...
2021-12-23 18:12:00
272
原创 gitlab 页面添加 sshkey后，git clone git@xxx.com:xx.git 任然提示需要输入密码的问题解决。解决debug1: send_pubkey_test: no mutu...
网上一般搜不到解决方案，千篇一律说的是ssh-keygen -t rsa -C "xx@xx.com" ，然后把id_rsa.pub的内容复制，在网页上的setting里面粘贴添加到ssh keys里面，但对有的git服务器或者你的电脑操作系统，有时候光这么做却任然不行，提示需要输入密码git@xx.com's password:关键是git这个账号的密码并不是用户个人的账号，所以无法输入...
2021-12-22 12:02:00
372
原创 python代码中疯狂print影响python性能吗？print是io吗？结论是做代码性能测试千万不要疯狂print，否则结果严重不准确，性能大幅下降。...
很多人做性能测试，吧print打开，吧log调到debug级别并使用了streamhandler，那就会疯狂打印到控制台。打印控制台会影响代码性能吗？这是毫无疑问的，python print会严重影响python性能。有很多人对分布式函数调度框架做性能测试，但在消费函数里面进行print并且框架日志级别没有设为INFO，造成框架的性能结果严重大幅度下降，每次都要解释很久print是io行为，...
2021-11-24 15:03:00
565
原创 python 快速万能同步转异步语法
pip install sync2asynciopython 快速万能同步转异步语法。使任意同步库快速变asyncio异步语法的方式 ，simple_run_in_executor这是一个异步对象Asyncio的Future了，可以被await和异步任务编排。await simple_run_in_executor(requests.get, url='http://www.baid...
2021-11-23 18:24:00
224
原创 PYTHONPATH在vscode和pycahrm的区别？为什么有的代码在vscode导入报错，pycahrm正常?精通PYTHONPATH作用真的很重要...
0.项目目录说明，pythonpathdemo是这个项目的根目录，d1/d2/d3/m3.py 有一个fun3函数，d4/d5/run.py 里面导入和运行fun3函数，这种目录的python项目就很容易验证pythonpath作用了。截图可以看出，pycahrm运行正确，cmd命令行却不行，vscode也不行。主要原因是pycahrm自动把项目根目录加到了 PYTHONPATH，你...
2021-11-18 18:44:00
320
原创 fastjson序列化显示出null值的键值对
return JSONObject.toJSONString(kafkaMsg, SerializerFeature.WriteMapNullValue); //需要这样才会显示出值为null的键值对，否则丢失键，下面的就不行 return kafkaMsg.toJSONString(); ...
2021-11-16 17:36:00
87
原创 用实力和真相精确测试python gil，证明只有多进程才能使用多核， 测试验证绝不含糊，不需要死记硬背意淫gil概念。杜绝空罐子不荡半罐子荡...
代码如下，先定义一个无限蒙蔽死循环消耗cpu的函数 f在一台4核cpu的linux上，分别直接 单进程单线程跑f函数，4进程跑f函数，4线程跑f函数，2进程程跑f函数，3进程跑f函数，50进程跑f函数from threading import Threadfrom multiprocessing import Processdef f(): # 这是个无限蒙蔽死循环的函数，解释器一...
2021-11-15 21:01:00
110
原创 python多进程和多线程效率比较，ProcessPoolExecutor,ThreadPoolExecutor
一下代码使用官方进程池和线程池测试，运行10万次函数时间。import timefrom concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor# import nb_logdef f(x): pass if x%1000 == 0: print(x)if __name__...
2021-11-01 10:49:00
343
原创 python tcp udp函数装饰器，无需亲自手写socket连接代码。
服务端代码 test_socket_consumer.py，先启动服务端from function_scheduling_distributed_framework import task_deco, BrokerEnum@task_deco('10.0.126.147:5691', broker_kind=BrokerEnum.TCP) #可以写TCP， 也可以写UDP那就是ud...
2021-10-09 15:08:00
89
原创 介绍一个python代码自动运行在远程机器的三方包。
pip install auto_run_on_remote介绍见 https://pypi.org/project/auto-run-on-remote/import timeimport sysfrom auto_run_on_remote import run_current_script_on_remoterun_current_script_on_remote...
2021-09-10 18:18:00
80
原创 python paramiko上传文件夹到linux
fabric2不行，那个put方法是上传一个文件，而非是一个文件夹。现在使用paramiko来实现文件夹的上传。import osimport reimport sysimport timefrom nb_log import LoggerMixinimport paramikoclass ParamikoFolderUploader(LoggerMixin): "...
2021-09-08 17:11:00
144
原创 python 多进程下按天分割日志handler。ConcurrentDayRotatingFileHandler
这个多进程切片安全的python按时间切割文件。官方的 TimedRotatingFileHandler 在多进程下疯狂报错，不信的话可以试试官方 TimedRotatingFileHandler 多进程写入文件日志，设置成每秒换一个新的文件写(主要是按天来切割要耽误很长的时间才能观察错误)此日志handler采用批量聚合每隔1秒写入，在超高速写入时候，写入速度远超官方。import os...
2021-08-19 19:35:00
218
原创 django 为什么不能在生产用runsnerver启动那个部署，flask为什么不能在生产环境使用app.run部署的精确本质原因？...
网上一般人都回答不好，回答的是结果不是原因都是人云亦云的，没有精确到本质原因。这就和中医不求甚解只能卖弄玄学一样，只有西医能力精确到本质分子结构才能让人信服，所以大家初中就要学现代生物课，为什么不学老祖宗的本草纲目？为什么不能用那个自带的runserver部署，也必须要精确原因呢才行。先看看网上人云亦云的回答。这些回答都是说了个寂寞呢，别人想知道原因，你回答的是结果，都是回答说性能更...
2021-06-12 15:08:00
98
原创 介绍一个python神级别黑科技装饰器，能在控制台显示代码运行精确轨迹可点击跳转，可以统计实际代码运行行数。...
首先是放代码，主要是接续上一篇，用真实力来解释上一篇的测试对比结论。import pysnooper_click_ableimport requestsimport urllib3"""requests https 实际消耗55178行requests http 实际消耗25344行urllib3 请求https实际执行代码行数6858行urllib3 请求http执行的代...
2021-04-14 16:22:00
75
原创 python的各种网络请求库 urllib3 requests aiohttp 分别请求http和https 的效率对比，多线程、gevent、asyncio对比，超大线程池、2n + 1 线程池对比...
此文三个目的，不能光意淫概念误入歧途，有的人以为得概念一套一套的，其实并不是想的那样，实践对比才能出真知，要尊重实践。此文使用各种网络请求库和各种并发模式和各种大小的线程池来测试请求50000次一个内容源码很小的百度静态页面，分别测试http和httpshttps://www.baidu.com/content-search.xmlhttp://www.baidu.com/content-...
2021-04-13 21:13:00
262
原创 比较asyncio.run_coroutine_threadsafe 和 run_in_executor的区别
asyncio.run_coroutine_threadsafe 和 run_in_executor 是一对反义词。asyncio.run_coroutine_threadsafe 是在非异步的上下文环境(也就是正常的同步语法的函数里面)下调用异步函数对象(协程)，因为当前函数定义没有被async修饰，就不能在函数里面使用await，必须使用这。这个是将asyncio包的future对象转化返...
2020-12-31 14:19:00
129
原创 使任意同步库快速变asyncio异步语法的方式 ，run_in_executor
from functools import partialimport asynciofrom threadpool_executor_shrink_able import ThreadPoolExecutorShrinkAble # 没有使用内置的 concurrent.futures里面的，这个是优化4点功能的。async_executor = ThreadPoolExecut...
2020-12-30 10:22:00
170
原创 python pip 出错 "Can't connect to HTTPS URL because the SSL module is not available.
如图把Library/bin添加到Path，并且放在第一个。再安装就嫩正确。
2020-08-27 20:24:00
57
原创 kill -9 和kill -15,区别，python可以自定义at_exit钩子
\3cspan id="mce_marker" data-mce-type="bookmark">\3c/span>\3cspan id="__caret">_\3c/span>\3c!--p.p1 { margin: 0; text-align: justify; -webkit-hyphens: auto; font: 16px Avenir; color: rgba(74, 74, 74...
2020-08-17 11:52:00
180
原创 论写代码的合理性
只是举出一个小例子，不是为了说明redis怎么用节约时间，而是说明一种编程意识from redis import Redisfrom decorator_libs import TimerContextManager# redis://:yMxsueZD9yx0AkfR@192.168.199.202:6543/7with TimerContextManager(): fo...
2020-08-04 10:00:00
56
原创 pyqt5-tools安装后 desinner.exe 报错 PyQt5 the application failed to start because no Qt platform could ...
pyqt5-tools安装后，打开 desinner.exe 报错 PyQt5 the application failed to start because no Qt platform could be initialized ，网上说法很多，啥复制dll的，重新卸载python重新安装的都有，没有效果。这个问题根据环境来看，如果安装了完善的c++环境，双击desinner.exe ...
2020-07-30 14:27:00
56
原创 pycahrm 使用.editorconfig文件设置每行最大数量警告配置
如果直接在pycharm界面中修改配置，项目组其他人如果没有和你做同样的设置，那么一些配置将支队自己生效。解决方式是在项目文件夹上，点击鼠标右键，new，选择editorconfig，在其中修改就可以。或者手动创建一个叫.editorconfig 的文件，例如设置每行最大警告，在[*]中写上max_line_length = 400，以后只有长于400的行才会警告，并且对该项目所有人都生效。...
2020-06-11 11:03:00
107
原创 python while 1 然后pass会发生什么？
下面的代码，会使32核linux服务器志强e5的cpu使用率达到3200%，然后别的什么程序都跑不了。如果windows，cpu使用率会达到100%。这是计算方式有点区别。个人计算机，除非你是8路 i9 9900k并联的超级计算机 ，可以确定的是任何价格在5万人民币以下的电脑都会把鼠标键盘鼠标卡得动不了。import multiprocessingdef f(): while 1: ...
2019-07-21 23:00:00
116
原创 猴子补丁的应用，猴子补丁来改变日志。
打这个猴子补丁，就可以不需要修改任何一处代码，就能使项目中所有py文件的所有控制台日志变彩色和可点击跳转。# -*- coding: utf-8 -*-# @Author : ydf# @Time : 2019/8/1 0001 17:54"""如果老项目没用使用Logmanager,可以打此猴子补丁，自动变彩色和可跳转。"""import sysimport o...
2019-07-21 21:07:00
54
原创 大幅度改变celery日志外观，修改成日志可点击跳转和鲜艳五彩日志，解决脚本中已添加handler的logger和框架日志重复记录问题。...
大幅度改变celery日志外观，修改成日志可点击跳转和鲜艳五彩日志，解决脚本中已添加handler的logger和框架日志重复记录问题。打猴子补丁。打猴子补丁，import loggingfrom nb_log.handlers import ColorHandlerlogging.StreamHandler = ColorHandler # 一键替换所有streamhandler为自己...
2019-07-19 16:19:00
87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人