- 博客(16)
- 收藏
- 关注
RSS订阅原创 卷积神经网络对于所有样本输出一致
别人实践中提到的问题与解决方法：原因：卷积层后结果均为负数，relu后都是0，因此最后的logits只是最后一层的偏置项，导致了所有输出一致。解决方法：改初始化去掉l2l_2l2正则或将其权重调小一些排查后发现不是这样的问题，最后定位到trainloader和testloader输入全为0，后将调用Dataloader()类中的pin_memory改为false，问题得以解决。查阅源码即网上相关pin_memory的资料并无类似bug，目前仍不知原理，此处记录一下。...
2021-06-23 14:58:47
1664
1
原创 初探回声消除
文章目录回声的形成自适应滤波自适应滤波器算法的性能指标自适应滤波器结构常用自适应滤波算法LMS（最小均方算法）NLMS（归一化最小均方算法）WebRTC架构信号处理流程总结与优化方向Others（来自业界人士的指导）回声的形成声学回声是指扬声器播出的声音在接受者听到的同时，也通过多种路径被麦克风拾取到。多路径反射的结果产生了不同延时的回声，包括直接回声和间接回声。直接回声：远端扬声器将语音信号播放出来后，被远端麦克风直接采集后得到的回声。直接回声不受环境的印象，与扬声器到麦克风的距离及位置有很大的关系
2021-02-07 12:40:48
818
原创 Google半监督发展：MixMatch、UDA、ReMixMatch、FixMatch
文章目录Google总结的三个SSL常用组成部分Consistency RegularizationData augmentationEntropy MinimizationStandard Regularization整体方法一览ReferenceGoogle总结的三个SSL常用组成部分Consistency Regularization基于假设：模型输出对于输入注入一些噪声后鲁棒。注入噪声可以通过模型本身的随机性（如 dropout）或者直接加入噪声（如 Gaussian noise），也可以通过
2020-07-14 16:50:28
2327
3
原创 SSL论文笔记：FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
文章目录AbstractionFixMatchAlgorithmAugmentationAdditional important factorsRelated workExperimentsCIFAR10/100, SVNHBarely supervised learningAblationSharpening and ThresholdingAugmentation strategyOthersAbstraction两种常用半监督学习领域的方法组合：一致性正则和伪标签（更准确地是artificial
2020-07-07 23:18:16
612
原创 SSL论文笔记（数据增广）：RandAugment
Abstract日前，自动化增广策略帮助图像分类和目标检测实现了SOTA结果，且也帮助了半监督学习领域并提升了鲁棒性但是由于需要一个单独的搜索阶段，存在两个问题：增加了训练复杂性和计算代价不能基于模型容量或者数据集大小去调整正则化强度本文解决了上述困境，显著缩小了搜索空间（仅有两个超参），以此完全消除了在一个单独的代理任务上的搜索阶段，构建了模型参数和数据增广的统一优化策略。Introduction数据增广方法需要专业知识，以及手工工作来设计策略，以获取每个领域中的先验知识。这种需求使得将
2020-07-07 23:05:24
568
原创 SSL论文笔记：MixMatch: A Holistic Approach to Semi-Supervised Learning
文章目录AbstractIntroductionMixMatchAbstractMixMatch, that guesses low-entropy labels for data-augmented unlabeled examples and mixes labeled and unlabeled data using MixUp.最后进行消融研究，以弄清楚MixMatch的哪些成分对其成功最重要。Introduction对于SSL的三种常用的loss term去使模型泛化性更强：entr
2020-07-06 19:05:08
813
3
原创 论文笔记：Insights from the Future for Continual Learning
文章目录AbstractIntroductionSettingGhost modelBase model for continual learningCapacitating ghost model for future classesGeneratorComplete classifierLatent-space regularizationComplete strategyAbstract持续学习旨在按顺序学习任务，对旧学习样本的存储具有（通常很严格的）约束，而不会遭受灾难性的遗忘。本文提出了一种
2020-06-30 21:05:52
359
原创 SSL论文笔记：Billion-scale semi-supervised learning for image classification
Abstract目标：提升一个给定目标结构（如ResNet-50）的性能这篇文章不是一个所谓的semi-supervised的场景【即同时训练有标签和无标签的】且目的不太一样，是想借助于大的无标签数据集（和原数据集较像但不同）提升模型质量，使原数据集上分类ACC更高Introductionexplore web-scale semi-supervised deep learningWeb-scale: 描述了现代架构的趋势，即增长（远）大于线性速率。Web-scale系统能勾快速有效地进行处理，
2020-06-27 21:55:14
831
原创 论文笔记：mixup: BEYOND EMPIRICAL RISK MINIMIZATION
文章目录AbstractIntroductionFrom ERM to mixupTheory一些设计选择与发现Mixup做了什么？Experiments一些数据集的classificationMemorization of corrupted labelsRobustness to adversarial examplesStabilization of GANsAblation studies具体实验Related workDiscussionAbstract本质上，mixup利用训练样本和他们标签
2020-06-26 14:47:59
452
原创 实践课（二）：Intro to meta-learning
意义目前的机器人其实最最底层的控制已经可以满足需要，但是比底层控制高一些的行为决策才是最困难的问题。所谓的机器人学习，也就是要在机器人上实现智能决策，使机器人能够通过学习去完成各种任务。由于深度增强学习本身固有的缺陷（需要巨量的trial and error），使得仅仅用深度增强学习很难真正应用到实际的机器人中。在深度增强学习的大框架下，我们还需要：终生学习Life Long Learning少样本学习Few Shot Learning多任务学习Multi Task Learning多智能体学
2020-06-22 10:54:35
102
原创 SSL论文笔记：A survey on Semi-, Self- and Unsupervised Techniques in Image Classification Similarities...
文章目录AbstractIntroductionUnderlying conceptsLearning strategiesTechniques自恰正则化 Consistency regularizationOverclusteringpseudo-labels【29】Abstractfundamental issue: lack of such an amount of labeled training data.三个主要趋势：SOTA方法基于其准确性可以拓展到现实应用为获得与使用所有标签可比
2020-06-22 09:00:15
1047
原创 实践课（一）Intro to SSL
数据有一些有label，一些没有，而且一般是绝大部分都没有，只有少许几个有label。半监督学习算法会充分利用unlabeled data来捕捉整个数据的潜在分布。它基于三大假设：Smoothness平滑假设：相似的数据具有相同的labelCluster聚类假设：处于同一个聚类下的数据具有相同labelManifold流形假设：处于同一流形结构下的数据具有相同label用于深度学习的一些方法：（前三个并不属于调研范畴，后面的是通用模型pmodel(y∣x;θ)p_{\text{model}}(
2020-06-21 16:44:56
111
原创 Linux服务器安装Anaconda
流程:清华镜像网下载相应版本bash + name.sh安装后此时没有(base)在前方，配置路径# 将anaconda的bin目录加入PATHecho 'export PATH="~/anaconda3/bin:$PATH"' >> ~/.bashrc# 更新bashrc以立即生效source ~/.bashrc换源# 添加Anaconda的T...
2019-12-25 22:24:18
145
原创 gym安装出错
pip install gym后报以下错误：ERROR: Command errored out with exit status 1:command: ‘c:\users\lxy\anaconda3\envs\pt\python.exe’ -c ‘import sys, setuptools, tokenize; sys.argv[0] = ‘"’"‘C:\Users\Lxy\AppData...
2019-12-03 18:45:24
2120
转载 Hessian海森矩阵与牛顿最优化方法
Hessian矩阵在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：f(x1,x2…,xn)f({x_1},{x_2} \ldots ,{x_n})f(x1,x2…,xn)如果fff的所有二阶导数都存在, 那么fff的海森矩阵即：H(f)ij(x)=DiDjf(x)H{(f)_{ij}}(x) =...
2019-10-05 12:06:10
676
原创 Programming Assignment的心得（一）
Programming Assignment的心得（一）Linear Regression and Logistic Regression主要代码缩进问题矩阵形式写梯度numpy中的乘法np.dot()np.multiply()np.matmul()其他注意点Linear Regression and Logistic Regression主要代码class linear_regressio...
2019-09-28 13:15:29
520
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人