![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
计算机学习
qiling0102
这个作者很懒,什么都没留下…
展开
-
神经网络反向传播时梯度简易求法
神经网络反向传播时梯度简易求法 5 相信每一个刚刚入门神经网络(现在叫深度学习)的同学都一定在反向传播的梯...转载 2019-04-26 18:25:56 · 608 阅读 · 0 评论 -
改善深层神经网络_优化算法——带修正偏差的指数加权平均
优化算法:指数加权平均 ...转载 2019-06-05 11:53:50 · 436 阅读 · 0 评论 -
从图感受深度学习中的各种卷积
如果你听说过深度学习中不同种类的卷积(比如 2D / 3D / 1x1 /转置/扩张(Atrous)/空间可分/深度可分/平展/分组/混洗分组卷积),并且搞不清楚它们究竟是什么意思,那么这篇文章就是为你写的,能帮你理解它们实际的工作方式。在这篇文章中,我会归纳总结深度学习中常用的几种卷积,并会试图用一种每个人都能理解的方式解释它们。除了本文之外,还有一些关于这一主题的好文章,请参看原文。希望本...原创 2019-05-20 16:01:39 · 353 阅读 · 0 评论 -
CNN1x1卷积核的作用
1x1卷积核的作用之前只是知道1x1的卷积核用在Inception模块中具有降维的作用,并没有认真的思考它是怎么样实现降维的,以及它还有哪些作用。于是查阅了一些资料,并记录了它的一些作用,如下:一、灵活的控制特征图的深度1x1的卷积核由于大小只有1x1,所以并不需要考虑像素跟周边像素的关系,它主要用于调节通道数,对不同的通道上的像素点进行线性组合,然后进行非线性化操作,可以完成升维和降维的功能,如...原创 2019-05-19 17:42:40 · 2153 阅读 · 0 评论 -
理解CNN中卷积层的计算
卷积层尺寸的计算原理输入矩阵格式:四个维度,依次为:样本数、图像高度、图像宽度、图像通道数输出矩阵格式:与输出矩阵的维度顺序和含义相同,但是后三个维度(图像高度、图像宽度、图像通道数)的尺寸发生变化。权重矩阵(卷积核)格式:同样是四个维度,但维度的含义与上面两者都不同,为:卷积核高度、卷积核宽度、输入通道数、输出通道数(卷积核个数)输入矩阵、权重矩阵、输出矩阵这三者之间的相互决定关系卷积核的输入通...转载 2019-05-19 16:18:42 · 396 阅读 · 0 评论 -
CNN中卷积操作十大改进方向
CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的工作中探讨日后的CNN变革方向。注:水平所限,下面的见解或许有偏差,望大牛指正。另外只介绍其中具有代表性的模型,一些著名的模型由于原理相同将不作介绍,若有遗漏也欢迎指出。一、卷积只能在同一组进行吗?-- G...转载 2019-05-19 12:10:07 · 2429 阅读 · 0 评论 -
奇异值分解(SVD)原理详解
奇异值分解(SVD)原理详解一、奇异值与特征值基础知识: 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧: 1)特征值: 如果说一个向量v是方阵...转载 2019-04-20 12:53:39 · 957 阅读 · 0 评论 -
奇异值分解(SVD)原理详解及推导
奇异值分解(SVD)原理详解及推导 (转) 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是...转载 2019-04-20 12:42:23 · 683 阅读 · 0 评论 -
相对熵与交叉熵
相对熵与交叉熵**相对熵数学公式****相对熵:KL距离**交叉熵交叉熵损失函数相对熵数学公式KL散度的值始终大于0,并且当且仅当两分布相同时,KL散度等于0.当P(x)和Q(x) 的相似度越高,KL距离越小。相对熵:KL距离KL距离的几个用途:① 衡量两个概率分布的差异。衡量两个概率分布的相似度,在运动捕捉里面可以衡量未添加标签的运动与已添加标签的运动,进而进行运动的分类。② 衡...原创 2019-04-20 11:47:16 · 2609 阅读 · 0 评论 -
深度学习:激活函数的比较和优缺点
深度学习:激活函数的比较和优缺点 1、什么是激活函数2、为什么要用3、都有...转载 2019-04-23 16:18:49 · 307 阅读 · 0 评论 -
机器学习中的范数规则化之L0、L1与L2范数、核范数与规则项参数选择
机器学习中的范数规则化之L0、L1与L2范数、核范数与规则项参数选择 今天我们聊聊机器学习中出现的非常频繁...转载 2019-04-27 16:41:06 · 507 阅读 · 0 评论 -
凸优化
凸优化 一.凸优化基本概念凸优化,或叫做凸最优化,凸最小化,是数学最优化...转载 2019-04-27 16:04:43 · 12229 阅读 · 0 评论