机器深度学习
文章平均质量分 60
碰到的一些问题
Stdleohao
这个作者很懒,什么都没留下…
展开
-
目标检测、语义分割的术语
1.Backbone提取特征2.neck更好的提取特征3.head利用提取好的特征,完成任务(分类等)4.bottleneck将特征维度减少5.gapRef.https://blog.csdn.net/weixin_43332715/article/details/118541648原创 2021-12-09 20:11:26 · 2140 阅读 · 0 评论 -
深度可分离卷积、空洞卷积、反卷积、感受野计算、上采样
Depthwise卷积和Pointwise运算成本比较低[1] https://zhuanlan.zhihu.com/p/92134485原创 2021-10-21 11:53:53 · 2089 阅读 · 1 评论 -
focal loss、importance sampling、 adaptive batch normlization
focal lossFocal Loss for Dense Object Detection,ICCV 2017, RBG和Kaiming大神作者提出focal loss的出发点是:希望one-stage detector可以达到two-stage detector的准确率,同时不影响原有的速度。one-stage detector的准确率不如two-stage detector的原因,作者认为原因是:样本的类别不均衡导致的。不平衡导致的后果:负样本数量太大,占总的loss的大部分,而且多是容易原创 2021-10-09 19:52:26 · 126 阅读 · 0 评论 -
一致性正则化, KL散度
一致性正则Consistency Regularization 的主要思想是:对于一个输入,即使受到微小干扰,其预测都应该是一致的。机器学习模型也应该对这种扰动具有鲁棒性。这通常通过最小化对原始输入的预测与对该输入的扰动版本的预测之间的差异来实现。可以是均方误差或KL散度或任何其他距离度量。[1]这些随机性或扰动分类如下[2]:常规的数据增强, 如图像翻转,加随机噪音基于GAN时序移动平均同一模型多次预测时,Dropout层随机舍弃多模型对抗样本扰动Adversarial Examp原创 2021-10-07 16:01:20 · 2213 阅读 · 0 评论 -
semi-supervised learning
半监督学习[1]当根据手头仅有的标注数据,会将一些虽然没有标注但可被观测到的数据进行一些合理的推测,其中推测主要基于两个假设:聚类假设cluster assumption:假设数据间具有相同的聚类结构,同一类数据会落入同一个聚类类别内。流形假设manifold assumption:假设数据分布在一个流形上,相近的样本具有相似的预测结果。主要方式:生成式方法(generative methods): self-training基于图的方法(graph-based methods):标签传播原创 2021-10-04 23:01:38 · 168 阅读 · 0 评论 -
指数滑动平均EMA
定义指数移动平均(Exponential Moving Average)也叫权重移动平均(Weighted Moving Average),是一种给予近期数据更高权重的平均方法。有数据θ1,...,θn\theta_1,...,\theta_nθ1,...,θn,EMA:vt=β⋅vt−1+(1−β)⋅θtEMA : v_t= \beta \cdot v_{t-1} + (1-\beta) \cdot \theta_tEMA:vt=β⋅vt−1+(1−β)⋅θt,其中, vtv_tvt原创 2021-10-03 19:38:32 · 540 阅读 · 0 评论 -
self training
What is self-training?在监督学习中,模型都是需要有一个大量的有标签的数据集进行拟合,通常数据成本、人力成本都很高。而现实生活中,无标签的样本的收集相对就很容易很多。因此,近年来,利用大量的无标签样本和少量的有标签样本的半监督学习备受关注。Self-training 是最简单的半监督方法之一,其主要思想是找到一种方法,用未标记的数据集来扩充已标记的数据集。ICML 2013:The Simple and EfficientSemi-Supervised Learning Met原创 2021-10-02 20:09:35 · 890 阅读 · 0 评论 -
max pooling 和 average pooling
采样:pooling 也叫subsample。采样是一个特征选择的过程。如果不采样,则可能存在:overfitting参数过多,导致运算量大无法满足模型结构需求池化层的特性:它可以一定程度提高空间不变性(特征相对位置),比如说平移不变性,尺度不变性,形变不变性特征提取的误差来源:领域大小受限卷积层权值参数误差average pooling 和max-pooling 的主要区别在于:average -pooling能减小第一种误差,更多的保留图像的背景信max原创 2021-10-01 17:00:44 · 645 阅读 · 0 评论 -
domain adaption(DA) 、UDA
在阅读 Self-supervised Augmentation Consistency for Adapting Semantic Segmentation 时,突然发现不太清楚领域自适应总结迁移学习中的一种代表性方法,利用源域的丰富样本提升目标域模型的性能。问题:他们的分布不同。不同阶段的方法不同Reference[1] https://blog.csdn.net/u013841196/article/details/80956828...原创 2021-09-30 16:34:12 · 349 阅读 · 0 评论 -
机器学习相关问题
1. 如何理解L1,L2正则https://blog.csdn.net/liuweiyuxiang/article/details/999842882. 图像二阶导数推导https://blog.csdn.net/saltriver/article/details/789905203. 如何理解随机梯度下降原创 2021-09-30 15:07:12 · 57 阅读 · 0 评论