其他学习记录
琐碎的学习记录
只会git clone的程序员
博客资料链接失效或者文件找不到可以私信索要!
当前在探索的领域:机器瞎学 人工智障 模式混淆 数据掩埋 计算机幻觉 劝退系统
展开
-
RuntimeError: CUDA error: device-side assert triggered
记录下解决步骤…cuda报错真要人命首先根据终端的提示他说让你加这个来定位具体的python代码错哪了,所以咱们就加。加上了之后,终端打印的东西巨巨巨长,不好定位报错代码,所以再加定向输出到文件内!然后把test.log用记事本打开:经过一行行的过目,发现在我的代码里是用这个embed_token报错了!所以非常好办!先查这个embedding层的长度:直接print模型就可以看了:(print(model))原创 2024-01-16 20:17:32 · 488 阅读 · 0 评论 -
catboost推理开GPU加速
catboost开GPU推理原创 2023-08-18 18:00:24 · 832 阅读 · 0 评论 -
大数据高频代码段
上面代码用params_a和params_b列调用func函数生成了new_col列。原创 2023-07-13 17:32:34 · 249 阅读 · 0 评论 -
命令行下载谷歌云盘超大文件
在这申请API:https://developers.google.com/oauthplayground/原创 2023-05-15 11:58:29 · 238 阅读 · 1 评论 -
httpx.InvalidURL: Invalid port
加了一行==url = url.replace(“::”, “:”)==就行了。httpx包的bug…原创 2023-04-26 14:32:58 · 2501 阅读 · 3 评论 -
numpy值统计
构建dataFrame,然后调用value_counts()函数。原创 2022-12-20 12:08:05 · 319 阅读 · 0 评论 -
正则首尾匹配字符串
正则首尾匹配字符串,转载:https://www.ancii.com/amxua85wq/原创 2022-10-12 17:46:20 · 460 阅读 · 0 评论 -
【已解决】python logging重复打印,解决不了你找我!!!
本方案可以个性化定制,以及完美的解决重复打印问题,所有情况都适用!!!多进程用logging经常会重复打印…网上很多解决办法试了都不好使,索性自己写得了。logging的颜色配置还需要下载color模块,突然发现print就支持颜色打印,然后sys模块又支持读取函数调用的行数和代码文件读取,这不就很简单了么。...原创 2022-07-14 10:41:54 · 951 阅读 · 0 评论 -
ohmyzsh史上最简安装加配置——系统路径+git分支+换行显示
配置oh my zsh原创 2022-07-11 18:28:50 · 1568 阅读 · 3 评论 -
python多进程处理数组
多进程计算数组的平方注意多进程为了多个进程共享数据,存储数据一定要用manager.list而不能用python自己的listfrom multiprocessing import Process, Manager# 进程处理函数def thread_func(sub_array, results, start): for index, num in enumerate(sub_array): results[start+index] = num**2# 多进程计算数原创 2022-04-28 14:53:25 · 1865 阅读 · 2 评论 -
linux安装任意版本python
前言装anaconda是比较方便,但有时候机器上只要用固定版本的python,就没必要装那么大的anaconda再创建python环境了。安装1、下载python,https://www.python.org/ftp/python/在这个路径下找你要的版本就好了。2、解压文件tar -zxvf Python-3.6.9.tgz,cd Python-3.6.93、配置编译保存的路径./configure --prefix=/usr/local/python3.6.94、编译make &ma原创 2022-02-07 09:58:11 · 3433 阅读 · 0 评论 -
tmux常用快捷键
安装apt-get install tmux开关tmux创建指定名字的tmux:tmux new -s name打开还在运行的tmux:tmux attach -t nametmux快捷键当前窗口上下分屏:ctrl B 之后 shift 5当前窗口左右分屏:ctrl B 之后 shift "光标切换到上一个窗口:ctrl B 之后 ;光标切换到下一个窗口:ctrl B 之后 o(字母)退出tmux:ctrl B 之后 d有些博客写的花里胡哨也用不上…总结了原创 2022-01-06 16:59:45 · 417 阅读 · 0 评论 -
Python 读取csv的某列
import pandas as pddatas = pd.read_csv('f.csv',usecols=['lie1',"lie2"])print(datas['lie1'])# 键对应列的名字,值就是那一列的值原创 2021-12-27 14:08:20 · 2428 阅读 · 0 评论 -
关键字kill任务
ps -ef # 显示进程ps -ef | grep "key word" # 显示进程中包含关键字的进程ps -ef | grep "ket word" | grep -v grep # 讲显示关键字的进程中ps -ef | grep "ket word" | grep -v grep | cut -c 9-15 # 根据上面结果裁剪出IDps -ef | grep "ket word" | grep -v grep | cut -c 9-15 | xargs kill -s 9 # 把ID传入k原创 2021-12-15 11:24:49 · 431 阅读 · 0 评论 -
正则匹配文件
import glob print(glob.glob('path/*.txt'))原创 2021-12-13 18:55:14 · 378 阅读 · 0 评论 -
期刊论文模板检索
网址:https://template-selector.ieee.org/secure/templateSelector/publicationType原创 2021-12-06 13:39:22 · 263 阅读 · 0 评论 -
全网最全RuntimeError: CUDA error: out of memory解决方法
第一种情况如果这个报错后面跟了想要占用多少显存但是不够这样的字眼,如下:解决办法就很简单了:改小batchsize,batchsize砍半可以差不多省掉一半的显存推理阶段加上with torch.no_grad(),这个可以将修饰的代码段不要梯度,可以省掉很多显存改小input的shape,例如(224,224)->(112,112)这样可以省掉一半的显存换小的网络结构用多卡训练,torch可以用model = nn.DataParallel(model)启用多卡训练,终端用CUDA原创 2021-11-19 14:14:09 · 53183 阅读 · 23 评论 -
plot 希腊字母
alpha代码:$\\alpha$beta代码:$\\beta$注意双杠原创 2021-11-18 11:53:42 · 239 阅读 · 0 评论 -
IBN-R50的实现在前三层添加IN最后一层不加的原因
主要原因作者实验发现,随着网络层数加深提取的特征逐渐偏向语义信息,风格信息逐渐减少。上图中,x轴表示网络的深度,y轴表示特征散度。由上图可知,随着网络深度不断加深,相同内容不同风格的数据集的特征散度不断下降,意味着低层特征反应的是外观差异,高层特征反应的是语义信息。...原创 2021-11-14 13:45:05 · 484 阅读 · 0 评论 -
module ‘faiss‘ has no attribute ‘StandardGpuResources‘
前言faiss真的恶心…升级版本废弃了以前的名字和函数,版本不一致很多报错,然后这个包又有cpu和gpu版本…两个版本相同版本号还有diff,要命…解决1、把faiss升级到1.6.3及其以上,如果还不行看2.2、把faiss-cpu给卸载了,faiss-cpu=1.6.3版本居然没有StandardGpuResources这个类,faiss-gpu=1.6.3又有这个类…这不是恶心人么,python在import faiss的时候也挺迷的,你如果cpu和gpu的faiss都装了不一定去cpu还是g原创 2021-11-02 00:45:51 · 3491 阅读 · 13 评论 -
python踩坑
前言没注意一个小细节记录一下a = [[]]*4b = [[] for i in range(4)]以上两段代码不等价,对于a,如果执行a[3].append(1)这样a就成了[[1],[1],[1],[1]]对于b如果执行b[3].append(1)这样b就成了[[],[],[],[1]]原因是a = [[]]*4这样复制生成4个【】是公用的地址,改变一个其他全变...原创 2021-10-19 13:28:14 · 110 阅读 · 0 评论 -
使用python脚本监控服务器显卡使用情况
前言共用服务器,有时候自己需要显卡被别人占用了…本脚本可以监控显卡显存情况,如果发现空闲会发送email到邮箱进行提醒。代码import pynvmlpynvml.nvmlInit()import timeimport os#from send_email import send_msgimport smtplibfrom email.mime.text import MIMETextfrom email.header import Header def send_msg(targ原创 2021-08-11 14:19:39 · 1083 阅读 · 2 评论 -
cv2不规则四边形裁剪成矩形
"""img: cv2:matpoints: np:dtype->float32,shape:[4,2]"""def get_rotate_crop_image(img, points): ''' img_height, img_width = img.shape[0:2] left = int(np.min(points[:, 0])) right = int(np.max(points[:, 0])) top = int(np.min(points[原创 2021-07-10 22:21:31 · 804 阅读 · 0 评论 -
error: (-215:Assertion failed) src.checkVector(2, CV_32F) = = 4 && dst.checkVector(2, CV_32F) == 4
报错函数:cv2.getPerspectiveTransform(points, pts_std)报错:cv2.error: OpenCV(4.5.2) C:\Users\runneradmin\AppData\Local\Temp\pip-req-build-i3ohmhl0\opencv\modules\imgproc\src\imgwarp.cpp:3392: error: (-215:Assertion failed) src.checkVector(2, CV_32F) == 4 &a原创 2021-07-10 21:58:58 · 5829 阅读 · 1 评论 -
解决github访问慢
前言网上全是改ip的教程,或者用gitee来代替github,前者说实话没一点用,后者还是有点用的,但是很麻烦。推荐github加速的软件,不是浏览器插件。支持mac、windows等,亲测好用,github秒开。下载地址https://github.com/docmirror/dev-sidecar安装说明参考readme,界面如下:...原创 2021-06-30 11:14:49 · 311 阅读 · 0 评论 -
VS2017+opencv还可以这样画女朋友????!!!!!!(基于opencv的蒙太奇图片制作)
VS2017+opencv制作蒙太奇照片简介前提准备思路代码解析工程使用说明运行结果工程地址总结简介图片的蒙太奇效果,一般称为马赛克图。由很多小图拼接成一个大图。在商业宣传后,宣传自己同时也可以顺便宣传诸多合作商,颇受欢迎。教程展示利用opencv来完成马赛克图的制作。效果图如下:前提准备VS2017的安装 ,参考教程:vs2017安装教程;OPENCV3.4.1的安装 ,参考教程:...原创 2020-01-14 21:13:55 · 1066 阅读 · 5 评论 -
python版opencv录屏并保存使用滚动条修改录制大小保存录制配置
前言最近在弄无人驾驶的项目,真实开车还是太麻烦了,打算在游戏里实现仿真驾驶,一般的游戏都没有视觉的接口所以选择录屏来解决这个问题。完整代码from PIL import ImageGrabimport threadingimport numpy as npimport cv2import timeimport osclass myRecord: def __init__(self,width,height): if not os.path.exists("conf原创 2020-07-11 18:24:10 · 445 阅读 · 0 评论 -
pytorch打印网络参数量
函数:def model_info(model): # Plots a line-by-line description of a PyTorch model n_p = sum(x.numel() for x in model.parameters()) # number parameters n_g = sum(x.numel() for x in model.parameters() if x.requires_grad) # number gradients prin原创 2021-04-30 15:17:54 · 1107 阅读 · 2 评论 -
QObject::setParent: Cannot set parent, new parent is in a different thread 2021-03-27 19:58:38.354 P
报错:QObject::setParent: Cannot set parent, new parent is in a different thread2021-03-27 19:58:38.354 Python[1331:38623] WARNING: NSWindow drag regions should only be invalidated on the Main Thread! This will throw an exception in the future. Called from原创 2021-03-27 20:01:56 · 5581 阅读 · 0 评论 -
paddle报错SystemError: (Fatal) Blocking queue is killed because the data reader raises an exception.
在使用paddle的dataloader的时候,如果def getitem(self, index):函数发生异常会报错:ERROR:root:DataLoader reader thread raised an exception!Traceback (most recent call last): File "train.py", line 28, in <module> for i, (image1, image2, label) in enumerate(loader()原创 2021-03-03 21:28:10 · 14387 阅读 · 24 评论 -
git cherry-pick
用处简单说就是谷仓有两个分支A和B,当你在A分支进行了一个修改,同时想把这个修改改在B分支,但又不能直接合并两个分支,就可以使用git cherry-pick命令示例git checkout A一顿修改git add .git commit -m "modify"git push origin A# 以上是对A分支的修改,下面想把这一顿修改也改在B分支git log # 拿到上面一顿修改的commit id,大概长这样commit 1f23c7ad2fc9256421cfd23f9acc8原创 2021-03-03 11:33:11 · 138 阅读 · 0 评论 -
gnutls_handshake() failed: Error in the push function.
解决办法执行了下面三句就好了不知道那一句解决的…sudo apt-get install libcurl4-openssl-devsudo apt-get updatesudo apt-get install build-essential fakeroot dpkg-dev libcurl4-openssl-dev原创 2021-02-21 16:53:22 · 2664 阅读 · 1 评论 -
让python代码一直在服务器运行
通过ssh远程服务器,断开时会杀死运行的进程解决办法nohupnohup python -u test.py > log.out 2>&1 &test.py是需要运行的脚本,log.out可以获取这个脚本的运行输出一直存储下来。原创 2021-01-27 19:47:37 · 1914 阅读 · 2 评论 -
取代SimpleHTTPServer的脚本
#!/usr/bin/env python#coding=utf-8# modifyDate: 20120808 ~ 20120810# 原作者为:bones7456, http://li2z.cn/# 修改者为:decli@qq.com# v1.2,changeLog:# +: 文件日期/时间/颜色显示、多线程支持、主页跳转# -: 解决不同浏览器下上传文件名乱码问题:仅IE,其它浏览器暂时没处理。# -: 一些路径显示的bug,主要是 cgi.escape() 转义问题# ?: not原创 2021-01-06 12:09:05 · 166 阅读 · 0 评论 -
python代码实现Mac,windows,linux删除文件到垃圾桶(不使用os.remove())
代码调用move2Trash(deletePath)即可例如:move2Trash("./111.txt")linux系统需要安装软件:sudo apt-get install trash-cli#!/usr/bin/env pythonimport osimport platformdef move2Trash(deletePath): # windows if (platform.system() == 'Windows'): from win32com原创 2020-11-20 15:31:24 · 879 阅读 · 1 评论 -
车道线拟合代码
代码import cv2import numpy as npdef find_line_fit(img, name = "default" ,nwindows=9, margin=100, minpix=50 , minLane = 50): ''' Args: img: 传入的灰度图像 name: 图像的名字,当处理视屏流的时候,有些图像没法拟合可以用异常来报错提示那一帧出了问题 nwindows: 将图像纵向切割的窗口个数原创 2020-10-04 23:00:52 · 1605 阅读 · 2 评论 -
windows卸载cuda9.0安装cuda10.0
前言使用paddle框架,更新了ppyolo,升级了paddle版本之前装的cuda9.0不适配了,卸载了安装cuda10.0,记录一下卸载进入卸载的面板:参考了下同学没装cuda的电脑:ok,删除多余的项目即可。其实还可以看看安装时间,就像我的cuda9.0是4.12日安装的,安装日期是那天的就没跑了。卸载完成:安装cuda10.0下载cuda toolkit:传送门如图勾选:双击安装一直默认即可。验证安装:cmd命令后输入nvcc -V下载cudnn链接:https原创 2020-09-14 17:52:59 · 2255 阅读 · 0 评论 -
fcntl.py
F_GETFD = 0F_SETFD = 0FD_CLOEXEC = 0LOCK_EX = 1LOCK_UN = 0def fcntl(fd, op, arg=0): return 0 def ioctl(fd, op, arg=0, mutable_flag=True): if mutable_flag: return 0 else: return "" def flock(fd, op): retur原创 2020-08-31 23:50:08 · 825 阅读 · 0 评论 -
python使用numpy库替换两个np数组中已知索引的值
使用场景已知数组1:arr1= [1,2,3,4,5,6,7,8,9]已知数组2:arr2= [0,0,0,0,0,0,1,1,1]需要将数组2中值为0的数替换数组1中对应位置的数。结果:result = [0,0,0,0,0,0,7,8,9]实现代码arr1[np.where(arr2 == 0)] = 0np.where(arr2 == 0)返回arr2中值为0的索引...原创 2020-08-31 09:59:24 · 1094 阅读 · 2 评论 -
github提交超过100M不可再次上传解决方案
显示文件git ls-files找到要删除的大于100M的文件路径删除大于100M的文件git rm --cache 文件名(从上个命令里复制过来)提交操作git commit --amend -CHEAD提交远程主机git push origin master原创 2020-08-30 23:15:33 · 246 阅读 · 0 评论