- 博客(36)
- 收藏
- 关注
原创 深度学习相关知识汇总
· 绝对值损失:· hinge loss:· 交叉熵损失:· focal loss:在one-stage检测算法中,会出现正负样本数量不平衡以及难易样本数量不平衡的情况,为了解决则以问题提出了focal loss。hit的检测框就是正样本。容易的正样本是指置信度高且hit的检测框,困难的正样本就是置信度低但hit的检测框,容易的负样本是指未hit且置信度低的检测框,困难的负样本指未hit但置信度...
2021-10-15 12:29:02 1831
原创 表格识别-pytorch
任务介绍:img2html;基础模型:RARE;输入:表格图片(检测到的表格);输出:html;需要的朋友可以去我的GitHub,觉得不错的话点个star,ღ( ´・ᴗ・` );...
2022-01-31 17:31:30 2140 1
原创 pytorch常用API
·torchvision.utils.make_grid():make_grid的作用是将若干幅图像拼成一幅图像。其中padding的作用就是子图像与子图像之间的pad有多宽。·torch.clamp():将输入input张量每个元素的夹紧到区间[min,max][min,max],并返回结果到一个新张量。...
2022-01-31 17:22:23 1935
原创 pytorch并行相关
多GPU使用:CUDA_VISIBLE_DEVICES=0,1,2,3---推荐os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,2,3"---推荐DataParallel(model, device_ids=[0, 1, 2,3])torch.cuda.set_device(id)---不推荐cuda:0表示将id为0的GPU设置为主GPU;相关链接:RuntimeError: module must have its parameters a
2021-11-16 18:47:06 2152
原创 pytorch常见问题
1. pytorch 的 dataloader 在读取数据时,设置了较大的 batchsize 和 num_workers. 然后训练一段时间报错:RuntimeError: Too many open files. Communication with the workers is no longer possible. Please increase the limit using ulimit -n in the shell or change the sharing strategy by c
2021-11-16 14:43:06 2912
原创 torch.optim相关
optim:torch.optim.SGD([ {'params': model.base.parameters()}, {'params': model.classifier.parameters(), 'lr': 1e-3}], lr=1e-2, momentum=0.9)Lambda LR:torch.optim.lr_scheduler.LambdaLR(optimizer,lr_lambda,last_epoch=-1)
2021-11-03 18:08:02 85
原创 几句话说清可迭代对象,迭代器,生成器
可迭代对象:具有 __iter__() 方法的对象称为可迭代对象,该方法可获取其迭代器对象;迭代器:有 __iter__() 方法和 __next__() 方法的对象称为迭代器对象,该方法能够自动返回下一个结果,当到达序列结尾时,引发 StopIteration 异常。生成器:对于生成器,Python会自动实现迭代器协议,以便应用到迭代背景中。附:迭代对象本身不一定是迭代器,但可以通过其 __iter__() 方...
2021-10-20 10:21:39 95
原创 h5py读写
import osimport numpy as npimport cv2import h5pydef save_image_to_h5py(path): f = h5py.File('data/h5/cat_or_not.h5', 'w') for idx, child_dir in enumerate(os.listdir(path)): # img = cv2.imread(os.path.join(path, child_dir)), (256, 256.
2021-10-18 17:26:20 405
原创 HTML转PDF
1. 安装必要的包:pip install pdfkitpip install wkhtmltopdfapt-get install wkhtmltopdf2. 关闭display配置:vim ~/.bashrcexport QT_QPA_PLATFORM='offscreen'source ~/.bashrc3. 代码(需要注意html编码方式):# -*- coding: utf-8 -*-# @Time : 2021/9/26 10:49# @Aut
2021-09-28 11:15:30 173
原创 ResNet(穿越视角)
时间能否倒流: 时间方向:A→B; A→B:可以; B→A:不可以; 原因:因为A到B有信息损失;如何实现穿越: 方法:完全模拟出过去某个时间的所有环境信息; 可以利用条件: 1. 史书、小说……; 2. 化石; 3. 当前信息(只用当前信息无法逆推出过去信息,因为中间有损失);ResNet的...
2021-09-22 09:52:23 79
原创 线程和进程的区别
整列火车---进程:火车车厢---线程: 进程包含多个线程:一列火车包含多个车厢;线程在进程下运行:车厢必须依赖于整列火车才可运行; 不同进程数据难共享:两列火车之间的乘客很难互换; 同进程不同线程数据易共享:同列火车各个车厢乘客很容易互换; 进程比线程消耗更多资源:多列火车比多个车厢更耗油; 进程间不会相互影响:两列火车不会相互影响; 线程影响整个进程:一个车厢挂了会影响到整...
2021-09-07 10:18:05 97
原创 cv2.approxPolyDP()
功能:主要功能是把一个连续光滑曲线折线化;输入: 格式:contour= array.shape=(n, 1, 2);epsilon:滤掉的线段集离新产生的线段集的距离为d,若d小于epsilon滤掉,否则保留; close:指示新产生的轮廓是否闭合;approxCurve:放输出近似结果;输出: 格式:...
2021-08-05 16:01:25 1684
原创 cv2.minAreaRect()
功能:求出在点集下的最小面积矩形。输入: 格式: points = array.shape=(n, 1, 2); 解释:其中points是点集,数据类型为ndarray,array((x1,y1),(x2,y2),....,(xn,yn));输出: 格式:rect = tuple((x, y), (w, h), angle...
2021-08-05 12:16:34 2599
原创 CV和NLP的区别
本质(根)上没有区别,都是信息信号处理,都是高维信号的分解和组合,但是信号的结构特征有区别,所以需要不同的策略来挖掘数据信息,即使用不同的分解和组合策略;CV: 图像处理纹理信息; CV需要处理的信息: 挖掘纹理信息; 纹理信息上下文结构; 根据上下文组合纹理信息;NLP: NLP处理文本表意信息; NLP需要处...
2021-07-31 11:59:53 9830
原创 简单python多进程(线程)
"""多任务实现方式: 进程 线程多任务: 定义: 同一时间内执行多个任务; 好处: 多任务的最大好处是充分利用CPU资源,提高程序的执行效率; 两种表现形式: 并发: 定义: 在一段时间内交替去执行多个任务; 场景: 1)任务数量大于CPU的核心数; 并行: 定.
2021-07-30 15:43:43 129
原创 最简单的python装饰器
import timedef use_time(func): def wrapper(*args): start = time.time() result = func(*args) print('use time: ', time.time()-start) return result return wrapper@use_timedef count_even(num): count = 0 f.
2021-07-29 20:52:36 87
原创 小波与神经网络的联系
学习数学可以解释万物,如果不能,那就再学学Q1:复杂不规律能不能拆解成简单规律?A1:能,傅里叶变换、拉普拉斯变换、小波变换、泰勒展开……Q2:不知道具体函数,只有散点能不能拟合连续函数?A2:能,传统机器学习、神经网络……,举例:傅里叶级数展开求系数需要知道原函数定义,但是实际场景中没有提供好的函数,所以可以用统计学(深度学习等)来拟合傅里叶级数展开系数(具体解释见深度学习问题总结-62)。Q3:神经网络是怎么分解任务(Q1)并再组合的?A3:单个神经元加激活就是简
2021-07-29 20:09:38 450
原创 激活函数为什么可以增加非线性?
前言:· 线性基函数无论组合多少次结果都是直线(秩为1):每条直线每个x位置的k是相等的,叠加k1+k2+k3……=K,最后是固定的,和x的位置无关,还是直线(kx永远拟合不出x2);kx线性函数不是完备正交函数集,不能作为完备正交基的成员,所以无法组成任意形式的函数。kx只要乘以一个系数就可以变成其他函数,但是cos(nΩt)乘上系数不会变成其他正交基;· 非线性基函数,可以组合出任意函数,比如三角函数集(秩为无穷):每条非直线在每个x位...
2021-07-29 19:58:36 1296
原创 完备正交函数集有如下两个定理
(1)任何一个信号f(t)都可以在区间(t1,t2)内精确地表示为这个完备正交函数集中各函数的线性组合,即:其中Ci为加权系数,Ci为:上式称为正交展开式,有时也称为广义傅里叶级数,Ci称为傅里叶系数。注:若基函数满足单位正交性且为实数,即(如,三角函数集满足此条件),那么可写作:(2)在(1)的条件下,根据此时均方误差为0,可得:这就是帕塞瓦尔(Parseval)方程(等式)。它表明,在区间(t1,t2),信号f(t)的能量恒等于f(t)在完备正交函数集中分解的各正交分
2021-07-29 18:11:16 1203
原创 数字图像处理(刚萨雷斯)
1. 频域分析:低通滤波器:理想滤波器巴特沃斯(butterworth)滤波器(中)、高斯滤波器(右): 高通滤波器:和低通正好相反:振铃效应振:如果滤波器变化比较剧烈(比理想滤波器)就会引起振铃效应,因为在频域的急剧变化需要很多正交基函数叠加;同态滤波器:同时兼顾高频和低频:疑问:为什么需要ln呢,f只是假设分成i和r分量,实际并分不开,对数后没变化为什么要取对数???同态滤波器编程过程...
2021-07-22 20:07:02 241 1
原创 半监督目标检测yolo+FixMatch
目前实验发票印章检测,只需1张训练集即可达到0.921(mAP.5),如果用31张训练集可达到0.952(mAP.5),无标签数据均使用600张。待填坑,敬请期待……
2021-05-19 12:05:58 2206 10
原创 yolov5解读
1. 网络结构1.1 网络整体结构1.2 网络子结构 2.网络技巧2.1 Focus Focus模块在v5中是图片进入backbone前,对图片进行切片操作,具体操作是在一张图片中每隔一个像素拿到一个值,类似于邻近下采样,这样就拿到了四张图片,四张图片互补,长的差不多,但是没有信息丢失,这样一来,将W、H信息就集中到了通道空间,输入通道扩充了4倍,即拼接起来的图片相对于原先的RGB三通道模式变成了12个通道,最后将得到的新图片再经过卷积操作,最...
2021-05-19 12:00:52 1955
原创 pytorch学习记录
nn.ModuleList和nn.Sequencial的区别: 1)ModuleList添加的是无序的序列; 2)Sequencial添加的是有序的序列,网络中各层会按照定义的顺序进行级联,因此需要保证各层的输入和输出之间要衔接; 所以ModuleList没有forward()方法,而Sequencial有forward()方法。...
2021-05-19 11:45:39 71
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人