- 博客(57)
- 收藏
- 关注
RSS订阅原创 知识蒸馏 Knowledge distillation（学习笔记）
1.知识蒸馏 Knowledge distillation是什么2.如何让教师网络把知识教给学生网络3.知识蒸馏需要设定一个蒸馏温度 T4.知识蒸馏的好处5.知识蒸馏的应用场景6.迁移学习 和 知识蒸馏 的区别7.知识蒸馏背后的机理8.知识蒸馏的研究方向
2023-01-11 12:10:33
357
原创 ResNet精读（2）
我们发现训练的时候的精度是要比测试精度来的高的在一开始，这是因为训练的时候用了数据增强。当channel是256的时候 当很深的时候 可以学到东西更多 对应的通道数也就越多。输入的高*输入的宽*通道数*输出通道数再乘以卷积核的高和宽再加上全连接的一层。所以加了之后 梯度还是可以的 可以符合sgd 的精髓 能一直跑效果不错哦哦。但是这个蓝色的额外部分的浅层网络 会上为大一些 就可以训练的动了。给所有的连接做投影（成本很高 不推荐）带来了 大量的计算复杂度。但从本质结构上看 模型的复杂度其实降低了的。
2023-01-09 22:03:32
140
原创 ResNet精读笔记（1）
overfitting的意思是 你的训练精度很高（训练误差变得很低 ）但是你的测试精度低了（测试误差变得很高）中间有比较大的区别。整理一下 我们构建的深的网络 前20层是学的比较好的 后14层是identity mapping。2.投影（1*1的卷积在空间维度上不做任何的change，主要是可以改变channel的维度）实际上 臣妾办不到 采用随机梯度下降 深的 层学到表较好的（浅的层学习表现好的层的复制）这是因为你的训练误差也变高了 （这里的训练误差和测试误差都很差）
2023-01-08 16:23:10
237
原创 不想拖延，做科研的战斗鸡
2.当面对自己拖延的事情，要有意识地要求自己立刻就去做。1.立定一些（小目标）flag，想到立刻去做。去体会迎接挑战、踏实工作的充实和乐趣。4.真正的找到自己喜欢且享受的事情。3.注意休息，注意饮食，注意运动。不要去想多么困难 多么麻烦。又不要在这件事上要求想太多。当遇到麻烦的事情的时候。
2023-01-05 17:38:47
33
3
原创 什么是轻量化，轻量化模型is all your need hhh
其实学了几个小月，我们肯定知道，MLP有多deeper ，卷积层有多少层呀抑或是Transformer架构，大量的参数，只能用huge 来描述，可实际上我们的设备，有时候并没有服务器那么厉害，所以人们就想着能不能在不改变model的精确度和效率，减少一下模型的规模就是怎么样减少一下模型的复杂度或者参数量也好呀，在不失去优雅的情况下哈哈哈哈这就是人类，贪婪的欲望推动着科技的进步哈哈哈哈这个图是我偷的，斯坦福的，没别的意思，就是想告诉大家，我们做DeepLearning 蛮耗能量的杜绝挖矿！！
2023-01-05 15:18:41
452
1
原创 未知感知对象检测：从开放视频中学习你不知道的东西（学习笔记）
作者提出：Spatial-Temporal Unknown Distillation（STUD）构建了一个新的框架，这个frame从自然视频中蒸馏出未知物，并且给model整了一个决策边界。面临的问题：model 缺少 对未知数据的监督信号（这里不说人话，人话：没有未知目标的建立标签），对OOD目标产生了自负错误的预测。1.STUD在空间的维度上先识别出来不知道类别的候选框，然后在视频的多个帧中将候选目标聚集，形成决策边界附近的不同的未知物体集。了内分布和蒸馏出的未知物体之间的。基于能量的不确定性正则化。
2023-01-05 12:50:34
252
原创 zero-shot object detection 什么是零样本目标检测
而这个zero-shot object detection是比目标检测任务更具挑战的任务。发现这个skirt是我们在训练时没有识别出来的，但是这个模型做到了识别出裙子。zero-shot 零样本学习。这个任务需要我们的模型可以。
2023-01-04 18:44:34
92
原创 ResNet学习笔记（1）
这个图片说明 大家在训练很深的网络是train不动的，训练误差也大，达不到很好的效果。使得训练深的神经网络变得容易很多。提出了 残差学习的框架。对于很多视觉的任务来说。深的神经网络难以训练。
2022-12-28 23:42:01
52
原创 AlexNet学习笔记（2）
3.dropout（其实不是在做模型的融合，更多的是的L2正则项）没有dropout过拟合会非常严重，但是加了之后训练速度会慢上两倍。224224*3的image 最后进入的分类层的时候就是一个 4096的一个向量。模式当做是一种知识吧 比如在识别猫的时候 猫的腿 猫的嘴巴 等等。在底层的神经元或者说前面的神经层学到的是一些局部的信息低级信息。3.新的，不常见的 特性来提升网络的性能和降低训练训练的时间。很瘪的很宽的图片然后把它高宽慢慢的变小，但是深度的慢慢的增加。
2022-12-28 23:19:19
206
原创 AlexNet 深度学习奠基作之一（1）
在之前的深度学习中，我真的可以 能够 通过训练一个很大的NN，在没有标签的数据集上。performence会降低2个点 说明这个深度是很重要的，也有可能参数没有调好。直到BERT 的兴起 （NLP） 把大家从有监督拉到了无监督的学习上去。其实从另外的角度来说 不仅是深度很重要 而且 宽度也很重要。imagenet 一百二十万的图片 1000个种类。为了减少过拟合 我们使用了dropout。有六千万的参数，和65000的神经元。cv 对于刷榜 是非常在意的。把整个东西里面的内在结构提取出来。
2022-12-27 22:18:50
169
原创 什么是concat 什么是add 有什么区别吗
concat 是拼接起来两个 tensor或者向量 通道数加倍。add Tensor或者向量相对应的元素相加 通道数不变。
2022-12-27 11:12:36
35
原创 轻量化网络ShuffleNet 旷视
如图所示，前两个channel 有一个2个channel的卷积核负责，两个与两个对应。这也带来了 一些缺点 虽然 做了相应的轻量化，但是也引出了 近亲繁殖的 缺点。分组卷积 提取的特征没有很好的 全局性 也是这个结构所引起的 组与组之间。feature map有几个 我们的对应的卷积核就需要几个channel。原来的卷积 3*3 是卷积核的大小 要12个通道 有6个卷积核。在解释一遍 一个卷积核 处理featuremap的所有通道。卷积核大小不变 但是每组的卷积核掌握的通道数不一样。
2022-12-26 22:33:35
241
原创 什么是自监督，自监督和有监督的区别什么是SSL
机器从输入中学习已有的一些事物本质的东西 目标的内在属性 特征其主要的方式就是通过自己监督自己，比如把一段话里面的几个单词去掉，用他的上下文去预测缺失的单词，或者将图片的一些部分去掉，依赖其周围的信息去预测缺失的 patch
2022-12-02 15:00:46
387
1
原创 目标检测中常见指标 AP MAP coco Pascal voc 评价指标说明
目标检测中常见指标 AP MAP coco Pascal voc 评价指标说明
2022-11-14 10:54:50
800
3
原创 labelImg 如何标注自己的数据集 目标检测 学不会来砍我系列（Windows）
labelImg 如何标注自己的数据集 目标检测 学不会来砍我系列（Windows）
2022-11-10 22:47:40
81
原创 什么是out of distribution (OOD) objects 通俗易懂哈哈
什么是out of distribution (OOD) objects
2022-10-31 11:11:27
129
原创 什么是感受野 Receptive Field 感受野是什么意思
什么是感受野 Receptive Field 感受野是什么意思为什么要用卷积 使用卷积的原因卷积可以减少参数的原因
2022-10-30 22:29:07
259
原创 self_attention 注意力机制
self_attention 注意力机制self_attention 注意力机制是干嘛的 ：不过得扯点别的 因为要学习 transformer 就必须先掌握注意力机制这个东西而self-attention是一个好东西，可以提供上下文信息，让这个machine去了解每个part的相关性，而不是独立的去实行人工智障算法。
2022-10-27 19:36:36
79
原创 yoloV5实现(人脸检测)前期准备工作，把yolo跑起来
yoloV5实现(人脸检测)前期准备工作，把yolo跑起来AttributeError: ‘Upsample‘ object has no attribute ‘recompute_scale_factor‘
2022-10-23 21:04:27
396
1
原创 目标检测01笔记AP mAP recall precision是什么 查全率是什么 查准率是什么 什么是准确率 什么是召回率
AP mAP recall precision是什么 查全率 查准率是什么什么是准确率什么是召回率
2022-10-19 16:56:54
189
原创 yolov5 5.0 报错日常Can‘t get attribute ‘SPPF‘ on ＜module ‘models.common‘ from ‘D:\\Pycharm\\Code\\yolov5
Can't get attribute 'SPPF' on RuntimeError: The size of tensor a (80) must match the size of tensor b (56) at non-singleton
2022-10-11 10:58:38
290
原创 Xtranslate应急翻译教程（zotero翻译引擎故障问题（用不了））
Xtranslate emergency translation tutorial (the problem of zotero translation engine failure (can't be used))Xtranslate应急翻译教程（zotero翻译引擎故障问题（用不了））
2022-10-09 10:17:01
256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人