深度学习不得不了解的技巧
文章平均质量分 90
微信公众号[机器学习炼丹术]
每天都要进步
展开
-
self-training | 域迁移 | source-free(三)
文章转自微信公众号:机器学习炼丹术论文名称:Domain Adaptive Semantic Segmentation without Source Data会议名称:ACM MM作者:炼丹兄(欢迎交流共同进步)联系方式:微信cyx6450166170 综述上图展示了source-free domain adaptation和一般的DA的区别。在之前的两篇source-free的论文中已经反复讲解,不再赘述。1 方法这文章也是使用Positive learning和Negative .原创 2021-11-11 16:28:31 · 1902 阅读 · 0 评论 -
图网络 | Graph Attention Networks | ICLR 2018 | 代码讲解
【前言】:之前断断续续看了很多图网络、图卷积网络的讲解和视频。现在对于图网络的理解已经不能单从文字信息中加深了,所以我们要来看代码部分。现在开始看第一篇图网络的论文和代码,来正式进入图网络的科研领域。论文名称:‘GRAPH ATTENTION NETWORKS’文章转自:微信公众号“机器学习炼丹术”笔记作者:炼丹兄联系方式:微信cyx645016617(欢迎交流,共同进步)论文传送门:https://arxiv.org/pdf/1710.10903.pdf01 代码实现代码github原创 2021-09-09 16:07:42 · 592 阅读 · 0 评论 -
5分钟就能学会的简单结构 | MLP-Mixer: An all-MLP Architecture for Vision | CVPR2021
文章转自:微信公众号「机器学习炼丹术」作者:炼丹兄(欢迎交流,共同进步)联系方式:微信cyx645016617论文名称:「MLP-Mixer: An all-MLP Architecture for Vision」论文链接:https://arxiv.org/pdf/2105.01601v1.pdf「前沿」:最近忙各种各样的事情,更新慢了。抽空写一点。这一篇内容很简单,只需要5min就可以学完。正文开始我们提供了MLP-Mixer架构,之后简称Mixer。这是一个有竞争力,但是概念和技术都.原创 2021-06-07 16:01:57 · 503 阅读 · 1 评论 -
域迁移DA | Learning From Synthetic Data: Addressing Domain Shift for Se | CVPR2018
文章转自:微信公众号「机器学习炼丹术」作者:炼丹兄(已授权)联系方式:微信cyx645016617论文名称:“Learning From Synthetic Data: Addressing Domain Shift for Segmentation”「前言」:最近好久没更新公众号了,我一不小心陷入了一个误区:我以为自己看的文章足够多了,用之前的风格迁移和GAN的知识来解决一个domain adaptive的问题,一顿乱拳并没有打死老师傅,反而自己累个够呛。然后找到这样一篇不错的DA frame.原创 2021-05-02 17:05:40 · 342 阅读 · 2 评论 -
光流 | flownet | CVPR2015 | 论文+pytorch代码
文章转自微信公众号「机器学习炼丹术」作者:炼丹兄(已授权)作者联系方式:微信cyx645016617(欢迎交流 共同进步)论文名称:“FlowNet: Learning Optical Flow with Convolutional Networks”论文链接:http://xxx.itp.ac.cn/abs/1504.068520 综述论文的主要贡献在我看来有两个:提出了flownet结构,也就是flownet-v1(现在已经更新到flownet-v2版本),flownet-v1中包.原创 2021-04-15 17:07:04 · 1895 阅读 · 3 评论 -
医学图像配准 | SYMnet 对称微分同胚配准CNN(SOTA) | CVPR2020
文章转自:微信公众号「机器学习炼丹术」作者:炼丹兄(已授权)作者联系方式:微信cyx645016617论文名称:‘Fast Symmetric Diffeomorphic Image Registration with Convolutional Neural Networks’论文链接:https://arxiv.org/abs/2003.09514v30 综述1 微分同胚回顾ϕ(1)\phi^{(1)}ϕ(1)是表示时间间隔为1的形变场,上图中的x表示形变场,然后形变场加上形变场的速.原创 2021-03-23 16:43:40 · 1060 阅读 · 0 评论 -
图像匹配 | NCC 归一化互相关损失 | 代码 + 讲解
文章转载自:微信公众号「机器学习炼丹术」作者:炼丹兄(已授权)作者联系方式:微信cyx645016617(欢迎交流共同进步)本次的内容主要讲解NCCNormalized cross-correlation 归一化互相关。两张图片是否是同一个内容,现在深度学习的方案自然是用神经网络,比方说:孪生网络的架构做人面识别等等;在传统的非参数方法中,常见的也有相关系数等。我在上一片文章voxelmorph的模型的学习中发现,在医学图像配准任务(不限于医学),衡量两个图片相似的度量有一种叫做NCC的而这.原创 2021-03-16 09:35:23 · 4277 阅读 · 14 评论 -
医学图像配准 | Voxelmorph 微分同胚 | MICCAI2019
文章转载:微信公众号「机器学习炼丹术」作者:炼丹兄(已授权)联系方式:微信cyx645016617(欢迎交流)论文题目:‘Unsupervised Learning for Fast Probabilistic Diffeomorphic Registration’0 综述本文提出了一个概率生成模型,并给出了一种基于无监督学习的推理算法卷积神经网络;论文中对一个三维脑配准任务进行了验证,并提供了一个实验结果;论文的方法在提供微分同胚的同时,且具有最先进的精度和非常快的运行速度。1 .原创 2021-03-11 15:54:27 · 3535 阅读 · 0 评论 -
医学图像 | DualGAN与儿科超声心动图分割 | MICCAI
作者:炼丹兄(已授权)联系方式:微信cyx645016617(欢迎交流共同进步)论文名称:“Dual Network Generative Adversarial Networks for Pediatric Echocardiography Segmentation”0 准备工作0.1 生词Pediatric 儿童的Pediatric echocardiography 小儿超声心动图CHD : congenital heart disease 先天心脏病0.21 综述..原创 2021-03-03 14:16:10 · 1162 阅读 · 1 评论 -
图像分割 | Context Prior CPNet | CVPR2020
文章转自微信公众号:「机器学习炼丹术」文章作者:炼丹兄(已授权)作者联系方式:cyx645016617论文名称:“Context Prior for Scene Segmentation”0 综述先上效果图,CPNet似乎对一些难样本有着更好的效果:文中提到了下面关键字:构建了corresponding prior map(CPmap),然后通过Context Prior Layer(CPLayer)来把这个CPmap融合到网络中,与此同时,使用Affinity Loss来对应这个CPL.原创 2021-02-26 17:42:22 · 487 阅读 · 1 评论 -
VIT Vision Transformer | 先从PyTorch代码了解
文章原创自:微信公众号「机器学习炼丹术」作者:炼丹兄联系方式:微信cyx645016617代码来自github【前言】:看代码的时候,也许会不理解VIT中各种组件的含义,但是这个文章的目的是了解其实现。在之后看论文的时候,可以做到心中有数,而不是一片茫然。VIT类初始化和之前的学习一样,从大模型类开始看起,然后一点一点看小模型类:class ViT(nn.Module): def __init__(self, *, image_size, patch_size, num_..原创 2021-02-03 14:51:20 · 10634 阅读 · 21 评论 -
自监督图像论文复现 | BYOL(pytorch)| 2020
文章原创自微信公众号「机器学习炼丹术」作者:炼丹兄联系方式:微信cyx645016617继续上一篇的内容,上一篇讲解了Bootstrap Your Onw Latent自监督模型的论文和结构:https://juejin.cn/post/6922347006144970760现在我们看看如何用pytorch来实现这个结构,并且在学习的过程中加深对论文的理解。github:https://github.com/lucidrains/byol-pytorch【前沿】:这个代码我没有实际跑过..原创 2021-01-30 18:33:01 · 1780 阅读 · 1 评论 -
自监督SOTA框架 | BYOL(优雅而简洁) | 2020
文章原创自微信公众号「机器学习炼丹术」作者:炼丹兄联系方式:微信cyx645016617本篇文章主要讲解两个无监督2020年比较新比较火的论文:论文名称:“Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning”论文链接:https://arxiv.org/pdf/2006.07733.pdf0 综述BYOL是Boostrap Your Own Latent,这个无监督框架非常的优雅和简单,而且wo..原创 2021-01-29 17:48:14 · 1154 阅读 · 0 评论 -
笔记 | 吴恩达新书《Machine Learning Yearning》
这本书共112页,内容不多,偏向于工程向,有很多不错的细节,在此记录一下。0 书籍获取关注微信公众号“机器学习炼丹术”,回复【MLY】获取pdf1 测试集与训练集的比例2 误差分析误差分析我感觉是一个成熟的AIer必备的能力。俗话说数据决定准确率的上线,模型只是在逼近这个值。模型效果的提升首先是需要去看数据样本的,把分类错误的样本一个一个看一看,然后心中自己会给出判断:是否有可能减少这种分类错误的样本?如何减少?【也许心中没有这样的判断,但是看一看错误的样本是很重要的。一般看100例分原创 2021-01-27 23:01:10 · 247 阅读 · 0 评论 -
图像分割论文 | DRN膨胀残差网络 | CVPR2017
文章转自:同作者个人微信公众号【机器学习炼丹术】。欢迎交流沟通,共同进步,作者微信:cyx645016617论文名称:‘Dilated Residual Networks’论文链接:https://arxiv.org/pdf/1705.09914.pdf0 综述这篇文章的最大特色自然是提出了DRN,Dilated Residual Networks,在残差网络的基础上加入了膨胀卷积。膨胀卷积,又叫做空洞卷积,是在卷积核参数不变的基础上,增加视野域的一种手段。通过使用膨胀卷积,可以放大最深层特原创 2021-01-21 15:12:35 · 929 阅读 · 0 评论 -
图像质量评估论文 | Deep-IQA | IEEETIP2018
主题列表:juejin, github, smartblue, cyanosis, channing-cyan, fancy, hydrogen, condensed-night-purple, greenwillow, v-green, vue-pro, healer-readable, mk-cute, jzman, geek-black, awesome-green, qklhk-chocolate贡献主题:https://github.com/xitu/juejin-markdown-theme.原创 2021-01-13 22:18:19 · 468 阅读 · 1 评论 -
卷积涨点论文 | Asymmetric Conv ACNet | ICCV | 2019
文章原创来自作者的微信公众号:【机器学习炼丹术】。交流群氛围超好,我希望可以建议一个:当一个人遇到问题的时候,有这样一个平台可以快速讨论并解答,目前已经1群已经满员啦,2群欢迎你的到来哦。加入群唯一的要求就是,你对AI有兴趣。加我的微信我邀请进群cyx645016617。论文名称:“ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks”论文链接:https://arxiv原创 2020-12-22 18:56:37 · 968 阅读 · 2 评论 -
pytorch实现 | Deformable Convolutional Networks | CVPR | 2017
文章转载自微信公众号:【机器学习炼丹术】,请支持原创。这一篇文章,来讲解一下可变卷积的代码实现逻辑和可视化效果。全部基于python,没有C++。大部分代码来自:https://github.com/oeway/pytorch-deform-conv 但是我研究了挺久的,发现这个人的代码中存在一些问题,导致可变卷积并没有实现。之所以发现这个问题是在我可视化可变卷积的检测点的时候,发现一些端倪,然后经过修改之后,可以正常可视化,并且精度有所提升。1 代码逻辑# 为了可视化class ConvOffse原创 2020-12-20 11:55:13 · 2390 阅读 · 6 评论 -
图像处理论文详解 | Deformable Convolutional Networks | CVPR | 2017
文章转自同一作者的微信公众号:【机器学习炼丹术】论文名称:“Deformable Convolutional Networks”论文链接:https://arxiv.org/abs/1703.062110 前言首先理解:deformable Convolution可变卷积针对的对象是卷积本身,因此膨胀卷积,3D卷积都可以用可变卷积的形式本篇文章讲解理论和论文,我还没有用上这个可变卷积测试效果,因为PyTorch好像还没有封装这个卷积方式,有点麻烦。所以我计划下一篇文章结合github上已经原创 2020-12-19 00:30:49 · 740 阅读 · 2 评论 -
轮廓检测论文解读 | Richer Convolutional Features for Edge Detection | CVPR | 2017
有什么问题可以加作者微信讨论,cyx645016617 上千人的粉丝群已经成立,氛围超好。为大家提供一个遇到问题有可能得到答案的平台。0 概述论文名称:“Richer Convolutional Features for Edge Detection”论文链接:https://openaccess.thecvf.com/content_cvpr_2017/papers/Liu_Richer_Convolutional_Features_CVPR_2017_paper.pdf缩写:RCF这一篇文原创 2020-12-15 22:34:09 · 602 阅读 · 0 评论 -
轮廓检测论文解读 | 整体嵌套边缘检测HED | CVPR | 2015
主题列表:juejin, github, smartblue, cyanosis, channing-cyan, fancy, hydrogen, condensed-night-purple, greenwillow, v-green, vue-pro, healer-readable贡献主题:https://github.com/xitu/juejin-markdown-themestheme: juejinhighlight:0 轮廓检测轮廓检测,对我这样的初学者而言,与语义分割类似。分割.原创 2020-12-08 18:03:31 · 1881 阅读 · 0 评论 -
孪生网络入门(下) Siamese Net分类服装MNIST数据集(pytorch)
主题列表:juejin, github, smartblue, cyanosis, channing-cyan, fancy, hydrogen, condensed-night-purple, greenwillow, v-green, vue-pro, healer-readable贡献主题:https://github.com/xitu/juejin-markdown-themestheme: smartbluehighlight:在上一篇文章中已经讲解了Siamese Net的原理,和这种.原创 2020-12-07 16:09:36 · 2792 阅读 · 4 评论 -
孪生网络入门(上) Siamese Net及其损失函数
最近在多个关键词(小数据集,无监督半监督,图像分割,SOTA模型)的范畴内,都看到了这样的一个概念,孪生网络,所以今天有空大概翻看了一下相关的经典论文和博文,之后做了一个简单的案例来强化理解。如果需要交流的话欢迎联系我,WX:cyx645016617。所以这个孪生网络入门,我想着分成上下两篇,上篇也就是这一篇讲解模型理论、基础知识和孪生网络独特的损失函数;下篇讲解一下如何用代码来复线一个简单的孪生网络。1 名字的由来孪生网络的别名就会死Siamese Net,而Siam是古代泰国的称呼,所以Siame原创 2020-12-06 11:24:33 · 3791 阅读 · 4 评论 -
常见特征金字塔网络FPN及变体
好久没有写文章了(对不起我在划水),最近在看北京的租房(真真贵呀)。预告一下,最近无事,根据个人多年的证券操作策略和自己的浅显的AI时间序列的算法知识,还有自己Javascript的现学现卖,在微信小程序上弄了个简单的辅助系统。我先试试效果如何,不错的话将来弄个文章给大家介绍介绍。感兴趣可以联系炼丹兄哦,WX:cyx645016617。1 概述FPN是Feature Parymid Network的缩写。目标检测任务中,像是在YOLO1中那种,对一个图片使用卷积来提取特征,经过了多个池化层或.原创 2020-11-09 00:13:12 · 3954 阅读 · 3 评论 -
【小白学PyTorch】4 构建模型三要素与权重初始化
这个系列是重新整理的一个《小白学PyTorch系列》。文章来自微信公众号【机器学习炼丹术】,喜欢的话动动小手关注下公众号吧~文章目录:文章目录1 模型三要素2 参数初始化3 完整运行代码4 更细致的看参数1 模型三要素三要素其实很简单必须要继承nn.Module这个类,要让PyTorch知道这个类是一个Module在__init__(self)中设置好需要的组件,比如conv,pooling,Linear,BatchNorm等等最后在forward(self,x)中用定义好的组件进行组装,就原创 2020-09-03 00:17:14 · 273 阅读 · 0 评论 -
【小白学PyTorch】3 浅谈Dataset和Dataloader
这个系列是重新整理的一个《小白学PyTorch系列》。文章来自微信公众号【机器学习炼丹术】,喜欢的话动动小手关注下公众号吧~文章目录:文章目录1 Dataset基类2 构建Dataset子类2.1 __Init__2.2 __getitem__3 dataloader1 Dataset基类PyTorch 读取其他的数据,主要是通过 Dataset 类,所以先简单了解一下 Dataset 类。在看很多PyTorch的代码的时候,也会经常看到dataset这个东西的存在。Dataset类作为所有的 da原创 2020-09-03 00:16:38 · 481 阅读 · 0 评论 -
【小白学PyTorch】2 浅谈训练集和测试集
这个系列是重新整理的一个《小白学PyTorch系列》。文章来自微信公众号【机器学习炼丹术】,喜欢的话动动小手关注下公众号吧~文章目录:文章目录经验误差与过拟合评估方法经验误差与过拟合关键词:错误率(error rate),精度(accuracy)。错误率好理解,就是m个样本中,a个样本分类错误,则错误率E = a/m 。精度 就是 1-E。 其实很简单,但是为什么我还要提一提呢,因为机器学习里还有很多相关名词,例如:准确率,召回率,精确度等等,所以希望大家能清楚认识。关键词:经验误差(em原创 2020-09-03 00:15:20 · 885 阅读 · 0 评论 -
【小白学PyTorch】1 搭建一个超简单的网络
这个系列是重新整理的一个《小白学PyTorch系列》。文章来自微信公众号【机器学习炼丹术】,喜欢的话动动小手关注下公众号吧~文章目录:文章目录1 任务2 实现思路3 实现过程3.1 引入必要库3.2 创建训练集3.3 搭建网络3.4 设置优化器3.5 训练网络3.6 测试1 任务首先说下我们要搭建的网络要完成的学习任务:让我们的神经网络学会逻辑异或运算,异或运算也就是俗称的“相同取0,不同取1” 。再把我们的需求说的简单一点,也就是我们需要搭建这样一个神经网络,让我们在输入(1,1)时输出0,输入原创 2020-09-03 00:14:35 · 698 阅读 · 0 评论 -
【小白学PyTorch】动态图与静态图的浅显理解
文章来自公众号【机器学习炼丹术】,回复“炼丹”即可获得海量学习资料哦!文章目录1 动态图的初步推导2 动态图的叶子节点3. grad_fn4 静态图本章节缕一缕PyTorch的动态图机制与Tensorflow的静态图机制(最新版的TF也支持动态图了似乎)。1 动态图的初步推导计算图是用来描述运算的有向无环图计算图有两个主要元素:结点(Node)和边(Edge);结点表示数据 ,如向量、矩阵、张量;边表示运算 ,如加减乘除卷积等;上图是用计算图表示:y=(x+w)∗(w+1)y=(x+原创 2020-08-23 06:15:28 · 1693 阅读 · 0 评论 -
【小白写论文】技术性论文结构剖析
文章来自微信公众号【机器学习炼丹术】。欢迎加入AI友好互助交流群~文章目录:文章目录1 introduction1.1 Aims and Objectives1.2 Background and Literature Survey2 Background Theories3 Methodology and Implementation4 Results, Analysis and Evaluation5 Conclusion最近要开始写毕业论文了,趁这个机会,整理一下论文中每一个章节的到底要写什么内容原创 2020-08-20 09:14:48 · 575 阅读 · 0 评论 -
【小白学AI】随机森林 全解 (从bagging到variance)
文章转自公众号【机器学习炼丹术】,关注回复“炼丹”即可获得海量免费学习资料哦!文章目录1 随机森林2 bagging3 神秘的63.2%4 随机森林 vs bagging5 投票策略6 随机森林的特点6.1 优点6.2 bias 与 variance6.3 随机森林降低偏差证明为什么现在还要学习随机森林?随机森林中仍有两个未解之谜(对我来说)。随机森林采用的bagging思想中怎么得到的62.3% 以及 随机森林和bagging的方法是否有区别。随机森林(Random Forest)就是通过集原创 2020-08-10 05:58:34 · 837 阅读 · 0 评论 -
【小白学图像】Group Normalization详解+PyTorch代码
文章转自公众号【机器学习炼丹术】,关注回复“炼丹”即可获得海量免费学习资料哦!文章目录1 BN的优点2 BN的缺点2.1 受限于Batch size2.2 训练集与测试集的分布3 Group Normalzation4 PyTorch实现GN总的来说,GN是对BN的改进,是IN和LN的均衡。1 BN的优点这里简单的介绍一下BN,在之前的文章中已经详细的介绍了BN算法和过程。BN于2015年由 Google 提出,Google在ICML论文中描述的非常清晰,即在每次SGD时,通过mini-batc原创 2020-08-10 05:52:57 · 2401 阅读 · 5 评论 -
【小白学推荐1】 协同过滤 零基础到入门
文章转自公众号【机器学习炼丹术】,关注回复“炼丹”即可获得海量免费学习资料哦!最近找工作的时候发现,机器学习算法工程师往往和推荐算法 相关联,之前对推荐算法并不了解,所以现在我也是零基础入门一下推荐算法。这篇文章是我个人的学习笔记。文章目录1 基于用户user-based1.1 寻找偏好相似的用户1.2 皮尔逊相关度1.3 为相似的用户提供商品1.4 小结2 基于物品item-based3 协同算法的更多描述4 不同相似度计算的方法4.1 欧几里得距离4.2 Pearson-r系数4.3 向量余弦4.原创 2020-08-10 05:46:02 · 366 阅读 · 0 评论 -
【小白学AI】梯度消失(爆炸)及其解决方法
文章来自【机器学习炼丹术】梯度消失问题和梯度爆炸问题,总的来说可以称为梯度不稳定问题。【要背住的知识】:用ReLU代替Sigmoid,用BN层,用残差结构解决梯度消失问题。梯度爆炸问题的话,可以用正则化来限制。sigmoid的导数是【0,0.25】.1 出现原因两者出现原因都是因为链式法则。当模型的层数过多的时候,计算梯度的时候就会出现非常多的乘积项。用下面这个例子来理解:这是每层只有1个神经元的例子,每个神经元的激活函数都是sigmoid,然后我们想要更新b1这个参数。按照大家都公认的符号来原创 2020-08-06 18:11:42 · 315 阅读 · 0 评论 -
小白学排序 十大经典排序算法(动图)
文章转自公众号【机器学习炼丹术】文章目录算法分类冒泡排序(重点)选择排序插入排序归并排序(重点)快速排序(重点)堆排序(重点)计数排序基数排序本文的重点排序方法在:冒泡排序,归并排序,快速排序,桶排序。算法分类十种常见排序算法可以分为两大类:比较类排序:通过比较来决定元素间的相对次序,由于其时间复杂度不能突破O(nlogn),因此也称为非线性时间比较类排序。非比较类排序:不通过比较来决定元素间的相对次序,它可以突破基于比较排序的时间下界,以线性时间运行,因此也称为线性时间非比较类排序。【算法原创 2020-08-03 00:30:53 · 573 阅读 · 0 评论 -
【小白学AI】八种应对样本不均衡的策略
文章来自:微信公众号【机器学习炼丹术】文章目录1 什么是非均衡2 8种解决办法2.1 重采样(四种方法)2.2 调整损失函数2.3 异常值检测框架2.4 二分类变成多分类2.5 EasyEnsemble1 什么是非均衡分类(classification)问题是数据挖掘领域中非常重要的一类问题,目前有琳琅满目的方法来完成分类。然而在真实的应用环境中,分类器(classifier)扮演的角色通常是识别数据中的“少数派”,比如:银行识别信用卡异常交易记录垃圾邮件识别检测流水线识别残次品病情监测与识原创 2020-08-02 03:16:19 · 948 阅读 · 0 评论 -
焦点损失函数 Focal Loss 与 GHM
文章来自公众号【机器学习炼丹术】1 focal loss的概述焦点损失函数 Focal Loss(2017年何凯明大佬的论文)被提出用于密集物体检测任务。当然,在目标检测中,可能待检测物体有1000个类别,然而你想要识别出来的物体,只是其中的某一个类别,这样其实就是一个样本非常不均衡的一个分类问题。而Focal Loss简单的说,就是解决样本数量极度不平衡的问题的。说到样本不平衡的解决方案,相比大家是知道一个混淆矩阵的f1-score的,但是这个好像不能用在训练中当成损失。而Focal loss可原创 2020-07-31 22:32:45 · 13983 阅读 · 5 评论 -
【机器学习的Tricks】随机权值平均优化器swa与pseudo-label伪标签
文章来自公众号【机器学习炼丹术】1 stochastic weight averaging(swa)随机权值平均这是一种全新的优化器,目前常见的有SGB,ADAM,【概述】:这是一种通过梯度下降改善深度学习泛化能力的方法,而且不会要求额外的计算量,可以用到Pytorch的优化器中。随机权重平均和随机梯度下降SGD相似,所以我一般吧SWa看成SGD的进阶版本。1.1 原理与算法swa算法流程:【怎么理解】:对wswaw_{swa}wswa做了一个周期为c的滑动平均。每迭代c次,就会原创 2020-07-31 22:15:28 · 4819 阅读 · 0 评论 -
Adam优化器杂谈
文章来自:微信公众号【机器学习炼丹术】最常用的Adam优化器,有着收敛速度快、调参容易等优点,但是也存在经常被人吐槽的泛化性问题和收敛问题。因此,在很多大佬的代码中,依然会使用传统的SGD+momentum的优化器。关于两个优化器的比较,仁者见仁智者见智,可以看一下这篇文章,有简单的关于这两个优化器的代码实现和效果比较:Pytorch的SGD,SGDM,Adam,RAdam的代码实现这篇文章就随便的谈一谈下面的问题,来让大家扩展一下知识:Adam被攻击的泛化问题和收敛问题;Adam是什么原创 2020-07-31 21:54:32 · 5773 阅读 · 0 评论 -
通俗易懂 | 拉格朗日乘子法
在SVM中,将约束问题转化成非约束问题采用到了拉格朗日乘子法。这个文章就讲一下拉格朗日乘子法与KKT约束是怎么回事。本人不是数学科班出身,但是也只能硬着头皮讲一讲了。从零理解现在我们要解决这样一个问题:x2y=3x^2y=3x2y=3这个函数距离原点最近的距离是多少。先画出函数图像:然后想求出最短距离:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-67S61XVm-1595354231426)(http://helloworld2020.net/wp-cont原创 2020-07-22 01:57:49 · 3718 阅读 · 0 评论