研究生知识点整理总结
文章平均质量分 50
研究生知识点整理总结
郑建宇Jy
这个作者很懒,什么都没留下…
展开
-
【mmdetection】训练测试时用到的命令-自用
mmdetection的一些命令原创 2023-01-11 10:34:43 · 288 阅读 · 0 评论 -
Mmdetection训练笔记
imgs_per_gpu表示一块gpu训练的图片数量,imgs_per_gpu的值会影响终端输出的显示原创 2023-01-05 14:52:49 · 888 阅读 · 1 评论 -
ICDAR2019数据集
ICDAR2019数据集下载原创 2022-11-08 14:26:20 · 1015 阅读 · 0 评论 -
关于YOLO V1的几点:
1、隐式编码学习:yolo是在整张图像上进行特征提取,所以能够学到目标和背景、目标和目标之间的关联程度,比起滑动窗口和region proposal会大大降低把背景当做目标的出错率;2、通用领域的模型,泛化能力强;3、对小目标识别性能差,准确率比两阶段网络低,但是速度快,可以达到实时(一般认为超过30FPS可以看作实时);4、每个grid cell 网格只能预测一类目标;5、平方和误差损失函数对分类问题不太适用,要加一个权重;增加包含目标的grid cell的权重,削减不包含目标的grid原创 2022-05-20 10:35:27 · 142 阅读 · 0 评论 -
(Transfer Learning and fine tuning)迁移学习与微调
迁移学习:借助预训练模型,泛化到我们自己的模型上举栗子VGG16网络,在ImageNet上已经训练好,是一个预训练模型,有1000个分类1、当我们的数据集较小时,只修改最后一层全连接层,冻结其余所有层的结构和权重;2、当我们的数据集较大时,修改所有全连接层,冻结其余所有卷积层的结构和权重;...原创 2022-05-14 11:32:50 · 346 阅读 · 0 评论 -
知识蒸馏概念
迁移学习侧重不同领域知识蒸馏侧重不同模型知识蒸馏模型就是把一个大的教师模型蒸馏成一个小的学生模型,教师模型会的多而且杂,体型大的网络。而学生网络小而轻量化。知识蒸馏就是模型压缩的一个手段。教师模型:学生模型:预训练的大模型,通过海量数据训练而成。这种大模型不能直接部署到终端设备上,因为小设备算力有限,如果要使用这些预训练的大模型,只能通过部署到云端、部署到数据中心使用,但是这样会受到网络延迟等问题。所以有了知识蒸馏。轻量化神经网络:1、压缩已经训练好的模型:知识蒸馏、权值量化、剪枝、注意力迁移原创 2022-05-11 12:58:05 · 650 阅读 · 0 评论 -
自注意力机制-李宏毅
只管知道有办法能让一句话、一段声音信号,一个图表(graph)转换为一堆向量,这是输入这种任务输出的话有四种可能性:1.一个向量对应一个标签,2.一组向量对应一个标签,3.输入的个数和输出不一致(比如中文翻译成英文,词的数量不一致)Sequence to Sequence :序列到序列的任务,(如翻译、语音识别)今天只讲,一个向量对应一个标签,该任务又称Sequence Labelingself attention :专注整个序列的信息FC:专注某个位置的信息下面看self ..原创 2022-04-16 18:49:48 · 3020 阅读 · 0 评论 -
(还没整理完)Perceptual Losses for Real-Time Style Transfer and Super-Resolution and Super-Resolution
《基于感知损失函数的实时风格转换和超分辨率重建》笔记+转载翻译翻译地址在这儿:基于感知损失函数的实时风格转换和超分辨率重建 (zhwhong)原论文下载地址:点这儿笔记1.图像转换任务的一个处理方法是在有监督模式下训练一个前馈卷积神经网络,用逐像素差距作损失函数来衡量输出图像和输入图像的差距。用途:超分辨率重建,图像上色,图像分割,深度和表面预测等。优势:在测试时,只需要一次前馈的通过已训练好的网络。缺点:逐像素求差的损失函数无法抓住输入及输出图像在感知上的差距。举个例子,考虑两张一模一样的原创 2022-04-15 15:43:13 · 2306 阅读 · 0 评论 -
一图搞懂系列——选择性搜索(selective search)图解
红色框表示生成的region proposals合并最相似的两个框框,相似的指标是颜色,纹理,大小等等合并其实就是找两个框的外切矩形,然后把红色小框去掉,只剩下合并后的框继续合并,直到把初始的红色小框全部合并掉...原创 2022-04-06 20:29:03 · 583 阅读 · 1 评论 -
几种梯度下降法比较最小值与鞍点(SGD、Momentum、NAG、Adagrad、Adadelta与Rmsprop)
先上图:研一寒假导师要求我们几个把这两幅动图用程序画出来,当时搜遍了网上没找到源代码,甚至还去推特问了图的原作者,后来没登录过,不知道回没回我哈哈。下面是两幅图的代码,可能不是非常还原。然后可以自己改一下线条颜色注释等等,用matplotlib画图的基础知识可以看一下B站莫烦的视频,链接在这儿:【莫烦Python】Matplotlib Python 画图教程_哔哩哔哩_bilibili如果某天你发现自己要学习 Matplotlib, 很可能是因为:Matplotlib 是一个非常强大的 Python原创 2022-04-05 21:38:43 · 1251 阅读 · 1 评论 -
几种特殊的卷积(转置卷积,空洞/膨胀卷积····)
计算尺寸不被整除只在GoogLeNet中遇到过。卷积向下取整,池化向上取整。stride为1的时候,当kernel为 3 padding为1或者kernel为5 padding为2 一看就是卷积前后尺寸不变一:转置卷积上采样的方法举例:最近邻,双线性插值,双立方插值等转置卷积:上采样的一种方法,也被称为分数步长卷积或反卷积转置卷积在论文中:DCGAN比较容易理解的解释:转置卷积注:转置卷积会在生成的图像中造成棋盘效应(checkerboard artifacts).本文推荐在使用转置卷积进.原创 2022-03-28 20:30:07 · 5328 阅读 · 0 评论 -
在conda虚拟环境中安装cuda11.3
花了将近一天,显卡是RTX3050首先升级显卡驱动,从 这个软件中更新显卡驱动 实在装了好多遍还是不行的话,建议先卸载掉anaconda,然后下载最新版的anaconda 下载完后,进入到中,创建虚拟环境,运行如下指令 conda create -n 环境名称 python=3.X conda activate 环境名称#进入到虚拟环境 下载提速的话,就用清华源,运行下面的代码,先替换channel,运行6的代码之前先运行下面代码恢复默认源 conda config原创 2022-03-26 14:58:57 · 8142 阅读 · 0 评论 -
交叉熵,KL散度,JS散度和Wasserstein 距离定义
为了更好地求解Wasserstein 距离,引入谱归一化,引用一篇非常好的文章GAN 的谱归一化(Spectral Norm)和矩阵的奇异值分解关于矩阵奇异值的直观解释可以看这个B站视频【学长小课堂】什么是奇异值分解SVD--SVD如何分解时空矩阵_哔哩哔哩_bilibili本文截图自邱锡鹏老师的蒲公英书,整理自用...转载 2022-03-23 17:34:15 · 118 阅读 · 0 评论 -
关于不同卷积核大小的思考
转自关于不同卷积核大小的思考 - 简书未经同意,不得转载 一、1x1卷积核的作用 (1)实现跨通道的交互和信息整合 使用1x1卷积核,其实就是对不同channel间的信息做线性组合的一个变换过程。比如输入为3x3...https://www.jianshu.com/p/bfd7011dd0bb...转载 2022-03-11 16:28:32 · 618 阅读 · 0 评论