![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 56
jaffe—fly
这个作者很懒,什么都没留下…
展开
-
python 接口自动化测试
python z自动化测试原创 2022-11-03 13:06:18 · 1559 阅读 · 0 评论 -
《Python 密码学编程》读书笔记(2)
《Python 密码学编程 James/Christopher》读书笔记(2)第 4-5 章原创 2022-09-21 16:59:28 · 683 阅读 · 0 评论 -
centos 上容器配置X11
centos,开始X11原创 2022-09-20 11:53:54 · 1158 阅读 · 0 评论 -
时间序列曲线相似性
时间序列曲线相似性判断,峰谷想错的时候,距离最大。原创 2022-07-29 17:38:11 · 912 阅读 · 0 评论 -
pandas及python代码
以下方法以此图为例一,读入csv文件时,添加parse_dates参数,把时间转为时间戳temp = pd.read_csv(file_path,parse_dates=['告警开始时间'])二,dataframe 新增加列,并用apply方法根据其他列的值计算temp['IS_VIP_Alarm'] = temp['告警名称'].apply(lambda x: 1 if x in VIP_Alarm else 0)def Alarm_to_index(df): index = wo原创 2022-07-14 22:52:12 · 1237 阅读 · 0 评论 -
公司笔记本如何连接家庭台式机
笔记本如何远程连接虚拟机原创 2022-07-07 19:40:06 · 843 阅读 · 0 评论 -
WARNING: Unsupported upgrade request.
用fastapi 写了一个接口,然后java发送post请求,fastapi的接口一直报这个错误,而且java端也也没有收到返回信息google 了好久,点赞量最高的就是需要重新安装但是这个在我的项目中并没有解决问题最后发现是java 使用请求的,而fastapi用的uvicorn启动,此时此刻,有两种方法解决方法一:fastapi 的接口升级为方法二:java指定http版本...原创 2022-06-21 22:38:30 · 555 阅读 · 0 评论 -
如何同时操作三台服务器
通过pycharm 的SSH terminal 操作三台主机,想输出一条命令在3同机器上同步执行方法一,写个脚本1,首先使用 生成密钥文件。2, 把公钥文件拷贝到指定的HOST3,当前机器创建一个文件,写入机器地址(xxx.xxx.xxx.xxx)4,在当前机器写个脚本(注意脚本中的路径要改一下)5 ,增加文件的执行权限6,执行命令方法二,还没尝试使用...原创 2022-06-16 15:02:22 · 559 阅读 · 0 评论 -
GPG error: NVIDIA NO_PUBKEY A4B469963BF863CC
nvidia 的 PUBLICKEY error原创 2022-06-16 10:09:28 · 1740 阅读 · 0 评论 -
FastAPI学习(1)- Pydantic
Response Model 响应模型原创 2022-06-03 15:37:23 · 1894 阅读 · 0 评论 -
window 安装 PyStan 和 prophet
必须先安装conda或者miniconda ,然后Anaconda Prompt 中操作以下命令conda install libpython m2w64-toolchain -c msys2以下根据情况操作然后 E:\ProgramData\Miniconda3\Lib\distutils中创建distutils.cfg文件添加以下内容[build]compiler=mingw32具体参考文档conda install numpy cython -c conda-forgeco原创 2022-05-30 16:13:25 · 815 阅读 · 0 评论 -
pycharm terminal 无法将“xxx”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。
记得以前是可以直接在pycharm 的terminal 端运行python程序的,但是今天运行的时候不行,不知道为啥,于是解决问题直接Google 的方法都不靠谱,不用浪费时间了刚开始,想着为什么,安装的conda 的base 环境,无法在cmd 以及powershell中运行,按照这个搜索,也是无用后来想着,pycharm 的terminal 直接打开默认就是Windows的PowerShell,应该可以更改,让打开就直接进入conda 的base环境按照这个思路检索到一篇文章pycharm te原创 2022-05-27 09:49:40 · 4049 阅读 · 0 评论 -
比较Dask,Ray,Modin,Vaex和RAPIDS
看到了一篇文章,在这儿记录一下Modin,Ray作为后端。通过安装这些,您可能会看到仅更改一行(“import pandas as pd”到“import modin.pandas as pd”)的显着好处。与其他工具不同,Modin旨在与Pandas完全兼容。Dask,一个更大,因此更复杂的项目。但Dask还提供了Dask.dataframe,这是一个更高级别的,类似Pandas的库,可以帮助您处理核心外的数据集。Vaex,旨在帮助您在标准笔记本电脑上处理大数据。它的Pandas替代品涵翻译 2022-05-09 14:15:28 · 976 阅读 · 0 评论 -
prophet使用记录
linux 安装详细介绍prophet是一个工业级应用,而不是说在时间序列预测的模型上有非常大的创新。趋势模型prophet里使用了两种趋势模型:饱和增长模型(saturating growth model)和分段线性模型(piecewise linear model)。两种模型都包含了不同程度的假设和一些调节光滑度的参数,并通过选择变化点(changepoints)来预测趋势变化节假日与突发事件模型节假日需要用户事先指定,每一个节假日都包含其前后的若干天。wprophet_plot_com原创 2022-03-24 15:25:18 · 682 阅读 · 0 评论 -
centos7.9 升级python3.9
在虚拟环境中升级python 不可行,只能系统中重新装python一、卸载自带pythonrpm -qa | grep python | xargs rpm -e --allmatches --nodeps //强制卸载自带的python以及相关联的程序whereis python | xargs rm -rf //删除所有与python相关的残余文件二 安装新版wget https://www.python.org/ftp/python/3.9.7/Python-3.9.7.tar.xz原创 2022-03-03 17:10:42 · 1588 阅读 · 0 评论 -
《Python 密码学编程》读书笔记(1)
《Python 密码学编程》读书笔记(1)原创 2022-03-01 10:55:15 · 591 阅读 · 0 评论 -
npm和node.js是什么? web3.js是什么?
npm是安装node.js时一起安装的包管理工具,类似pip原创 2022-02-28 20:22:06 · 704 阅读 · 0 评论 -
《Flask web 开发从入门到精通》读书笔记(上)
Flask是一个优秀的Web框架原创 2022-02-12 22:58:33 · 1251 阅读 · 2 评论 -
软考高级架构师备考记录
刚刚公布了软考高级架构师的成绩,急忙去查万幸考过了报名的希赛课程学了差不多4轮(所有课程2倍速播放)第一轮,报名之后看短视频入门第二轮,7月老师开课之后跟着老师学习第三轮 ,从头再看一遍课程,这一次开始做笔记并刷题,按照主题刷,把重点章节的刷第四轮,跟着老师冲刺课学习并对照笔记,查漏补缺,冲刺课主要是讲做题技巧以及常见案例考题形式作文准备,只写了一篇文章,经过老师批改合格,掌握了答题技巧之后,把希赛后台准备的作文论题的知识点打印,考前背诵(不过自己考试也没用上,但是作文题还是都覆盖原创 2021-12-24 22:33:47 · 709 阅读 · 0 评论 -
AX210 PCIE网卡 安装记录(linux)
安装之前安装之后原创 2021-12-16 08:47:57 · 8853 阅读 · 0 评论 -
yaml中使用记录及环境变量的交互
yaml配合hydra,omegaconf使用环境变量name: &name "Citrinet-512-8x-Stride"model: sample_rate: &sample_rate 16000 train_ds: manifest_filepath: "${oc.env:train_data_dir}/train_manifest.json"查看系统环境变量在命令行输入以下命令printenv查看PATH环境变量printenv PATH原创 2021-09-28 22:34:23 · 4807 阅读 · 0 评论 -
ab工具测试flask 接口并发
ab工具安装(ubuntu)apt-get install apache2-utils先用python程序看请求时间(1个请求)falsktest.py的内容可以看上一篇文章python falsktest.py 1.png返回时间0.1秒使用ab工具 测试先根据接口参数生成json文件import jsonimport base64file = "/ntt/smz_data/images/test/1.png"with open(file, "rb") as f: im原创 2021-07-28 15:38:19 · 333 阅读 · 0 评论 -
base64 编解码速度测试(pillow vs opencv)
1 测试脚本import requestsimport base64import jsonimport timeimport sysimport numpy as npimport cv2from PIL import Imagefrom utils.plots import colorsimport osfrom tqdm import tqdmfrom glob import globdef pic_post(img,filename): postdata = {原创 2021-07-27 09:18:28 · 931 阅读 · 1 评论 -
Pytorch Lightning 踩坑记录
最近两周开始了解和上手学习pytorch lightning,这个框架,csdn和知乎资料都比较少,而且框架相对年轻,还是有不少该改进的地方lightning 可以和torch 兼容,在某些方面反而有冲突,可能需要自己写callback 函数实现今天记录一下自己的踩坑(不分先后)模型test 无输出正确代码def test_step(self, batch, batch_idx): x, y = batch logits = self.forward(x) preds =原创 2021-07-07 19:18:44 · 1789 阅读 · 1 评论 -
pytorch 分布式实践(一)
学习资源实践踩坑1,model = torch.nn.parallel.DistributedDataParallel(model, device_ids=[args.local_rank]) 卡住不动python -u -m torch.distributed.launch --nproc_per_node=2 train_single_label.py --batch_size=4 --data_path=/mnt/dataset --model_name=mobilenetv3_large_10原创 2021-05-15 13:03:03 · 271 阅读 · 0 评论 -
python多进程加速处理lmdb数据集
def writeCache(env, cache): with env.begin(write=True) as txn: for k, v in cache.items(): txn.put(k, v)def image_worker(args): data, labelpath, queue = args if os.path.exists(data) and os.path.exists(labelpath): wi原创 2021-05-06 14:29:40 · 1327 阅读 · 0 评论 -
pytorch中model.eval之后是否还需要model.train的问题
答案是:需要的正确的写法是for循环之后再开启train,循环之后的评估model.eval之后就会再次回到model.train原创 2021-04-09 10:54:51 · 733 阅读 · 0 评论 -
pycharm提交GitHub的两种方式
方式一这个方式会默认提交到master以外的分支登陆给GitHub仓库,默认都是master分支,所以在仓库打开你的代码,发现代码没有更改。方式二这种方式会提交到master分支,github上也能看到更改...原创 2021-03-04 15:07:32 · 233 阅读 · 1 评论 -
pytorch中的torch.device和os.environ[‘CUDA_VISIBLE_DEVICES‘]
def select_device(device='', batch_size=None): # device = 'cpu' or '0' or '0,1,2,3' cpu = device.lower() == 'cpu' if cpu: os.environ['CUDA_VISIBLE_DEVICES'] = '-1' # force torch.cuda.is_available() = False elif device: # non-cpu d原创 2021-02-23 16:36:58 · 3086 阅读 · 0 评论 -
[enforce fail at inline_container.cc:145] . PytorchStreamReader failed reading zip archive: failed f
weights = 'yolov5s.pt'ckpt = torch.load(weights, map_location=device) 加载权重文件遇到的报错原因pt文件传输过程中,没有传输完整重新上传或者下载pt文件原创 2021-02-18 21:33:07 · 10418 阅读 · 9 评论 -
k8s学习(2)- 虚拟机搭建搭建Kubernetes集群(1.24.2)
虚拟机搭建搭建Kubernetes集群环境虚拟机搭建配置网络1 激活虚拟机网卡2 配置静态IP使用MobaXterm连接虚拟机配置yum源关闭防火墙关闭Swap关闭 selinux:将桥接的 IPv4 流量传递到 iptables 的链时间同步安装Docker添加阿里云 YUM 软件源安装 kubeadm,kubelet 和 kubectl克隆虚拟机修改node1,node2的IP地址设置主机名在 master 添加 hosts部署 Kubernetes Master加入 Kubernetes Node部署原创 2021-02-09 19:50:50 · 2862 阅读 · 1 评论 -
Permission denied: ‘/opt/anaconda3/envs/xxxxx/share/jupyter/nbconvert/templates/html/conf.json‘
先说一下遇到这个错误的过程在linux下启动jupyter时,默认使用的是系统的jupyter命令自己的conda环境也是在系统的目录下的,后来卸载了卸载了系统中自己的环境,然后重新安装到自己的/home/xxxx的目录下(也就是重新pip安装包时,添加--user)这时候使用.local/bin/jupyter notebook 启动遇到上面的问题解决方案cd /opt/anaconda3/envs/xxxxx/share然后rm -rf Jupyter再次启动 完美解决!!还得感谢sta原创 2021-02-07 23:30:23 · 868 阅读 · 0 评论 -
No module named ‘jupyter_core‘
pip install jupyter_core --user已经安装依然报错,用这个启动,也就是用户目录下的jupyter命令/home/wangzf/.local/bin/jupyter notebook直接jupyter notebook 使用的是/opt/anaconda3/bin/jupyter下的jupyter命令,以指定虚拟环境启动jupyterpython -m ipykernel install --user --name dev3_wzf所以安装包的时候全部python -原创 2021-01-12 23:02:17 · 4476 阅读 · 0 评论 -
Dockerfile 构建镜像,docker run镜像之后,程序没启动
问题 :构建镜像没有报错但是docker run之后程序没有启动原因docker run启动镜像的时候没有运行dockerfile中最后的一个CMD命令错误的启动命令docker run -p 4889:4889 -dit ai001:latest /bin/bash 正确的启动方式docker run -p 4889:4889 -dit ai001:latest解释/bin/bash 启动代表以/bin/bash命令运行 CMD 后面的命令如果CMD 配置了程序启动命令,就没必原创 2020-12-25 09:50:40 · 1999 阅读 · 1 评论 -
python多进程加速处理数据
1 批量更新数据库操作1.1单参数,无返回情况from pic_md5_result import get_md5_value#将数据的处理分装成函数def mul_procee(data): mysql2 = ConnectMySQL(Config) flag = 0 for data_item in data: flag +=1 id = data_item["id"] img = data_item['upload_ima原创 2020-12-22 10:56:10 · 399 阅读 · 0 评论 -
redis进程异常退出后的总结
事件1,上周,遇到了机器内存爆满。于是执行了Linux命令sysctl -wvm.drop_caches=3清理内存。2,今天发现测试机器的以6379端口启动的进程退出了,redis-cli连接不到redis-server(其他端口启动的redis并未退出)3,目前怀疑是linux的内存满了,导致自己杀死了redis的进程。4,后来找到dump.rdb文件然后重启redis-server服务。问题1,redis重启之后发现数据有丢失2,redis进程到底被谁杀死的,因为未设置logfile,无原创 2020-12-07 15:04:58 · 572 阅读 · 0 评论 -
python多进程执行mysql的update操作遇到Lock wait timeout exceeded; try restarting transaction
程序 mysql = ConnectMySQL(Config)#连接数据库,实例化数据库类 def mul_procee(data): mysql2 = ConnectMySQL(Config) for data_item in data: id = data_item["id"] img = data_item['upload_image'] img_decode = base64.b64de原创 2020-12-03 13:33:18 · 1349 阅读 · 0 评论 -
python程序中遇到使用os.kill,在Linux上运行程序出现没有权限的问题
pid2 = get_process_id("image_dect.py")if pid2: os.kill(int(pid2[0]), signal.SIGUSR2) else: logging.info("image_dect.py 没有启动!") pid = get_process_id("Group__photo_service.py") if pid: os.kill(int(pid[0]), signal.SIGUSR1)os.kill这儿报错“没有权限原创 2020-11-05 21:20:23 · 1035 阅读 · 1 评论 -
vim配置文件自动生效的问题
在~目录下创建vimrc文件就可以自动生效命令cd ~命令vim .vimrc输入下面的内容set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936 set termencoding=utf-8set encoding=utf-8set nuset curs原创 2020-09-30 14:29:51 · 1757 阅读 · 0 评论 -
centos7使用docker记录,构建自己的基础镜像,镜像中安装redis,
公司服务器已经安装docker,执行命令docker version报错Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?原因:docker service未启动执行命令service docker start选择对应的用户之后显示授权通过,执行docker ps命令依然报错Got permission denied while tryi原创 2020-09-30 09:56:11 · 348 阅读 · 0 评论