- 博客(22)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 关于梯度翻转层GRL的理解
最近在看迁移学习中的DANN算法和DAAN算法，二者都用到了GRL层，是一种梯度翻转层，这里主要想讲一下梯度翻转层为什么有用。以DANN为例，倘若梯度翻转层不存在，那么，算法在迭代过程中，在减少Ly的时候，Gf层的各个卷积层的参数会趋向于减少Ly损失，提高标签分类精度；在减少Lg的时候，Gf层的各个卷积层的参数会趋向于减少Lg损失，也就是使得源数据和目标数据通过Gf层后的区别愈加明显，即提高域分类精度，这不是我们想要的，我们的目标是让区别越来越小，从而达到生成的目标数据特征和源数据特征相似，从而缩小边缘.
2021-01-29 11:44:16
5210
5
原创 torch.nn.Softmax
很多博客对于这个函数讲的并不清晰，我在这里重新梳理一下。话不多说，直接上例子。下面是代码import torchimport mathimport torch.nn as nninput=torch.Tensor([[ 0.5450, -0.6264, 1.0446], [ 0.6324, 1.9069, 0.7158], [ 0.3224, 0.5342, -0.4561]])softmax_inp.
2021-01-25 14:44:20
3143
原创 深度网络自适应DCC算法
目录前言正文前言DCC算法是用来解决深度网络自适应问题的算法，属于迁移学习与深度学习结合的产物。从最开始的时候，通过微调（finetune）可以实现一定程度的深度自适应，但是它有一个致命缺点就是无法处理源数据(source)和目标数据(target)分布不一样的情况，然而在现实生活中这种情况的出现是十分频繁的，也就是说，要想进一步拓展迁移学习与深度学习的结合，必须克服这个问题。有人在2014年提出了DaNN，它作为一个引子，后面人们在此基础上进行了很多改进，DCC是继承其思想的一种方法。正文
2021-01-22 13:09:32
2385
原创 SVM（六）：核函数
目录前言问题背景决策规则核函数困难解决办法几个核函数小结前言我也在学习SVM，边学习边记录学到的东西，特别感谢在学习核函数这一部分时提供帮助的博文，下面的记录也是基于它之上的，并加入了一些个人补充，博文链接：https://blog.csdn.net/v_july_v/article/details/7624837问题背景前几篇讲到的SVM的知识是针对线性问题进行处理的，而对于非线性问题，使用核函数可以较好的解决，我们先来直观的理解一下非线性问题与其解决方法：上图中的一维坐标下的+和-两类
2021-01-21 13:31:14
301
原创 SVM（六）：带松弛变量的SVM数学模型
目录问题背景加入松弛变量问题背景上一篇我们已经学习了关于SVM模型的基本知识，现在我们就其可能面对的情况进行更深入的分析。之前我们采用的例子是比较规整的数据例子，大家请看下面的数据分布。你觉得上面的分类效果好嘛？我觉得不是特别好，原因就是实际上我们感觉我们宁可错分一个，也不想出现上述这种比较紧凑的情况，再看下面的分法：上图中的实线作为最优的分割线貌似才是我们心中的答案，当然你也可以不认同这一点，然后不加入松弛变量，这样的效果就是第一幅图的效果，如果你更认同后面这幅图的效果，那你就可以采用松弛
2021-01-20 12:30:36
1928
1
原创 SVM（五）：SVM的数学模型详细介绍
目录前言内容问题背景得到优化目标前言学习SVM的数学模型，需要对拉格朗日乘数法、KKT条件、对偶问题、超平面这四类问题有充分的了解，所以在写这篇文章之前，我先写了四篇关于上述问题的详细介绍，有需要的同学可以去我的博客中阅览，这里附上四篇文章的链接：https://blog.csdn.net/qq_41076797/article/details/112676195https://blog.csdn.net/qq_41076797/article/details/112763987https://
2021-01-19 19:06:39
3558
1
原创 SVM（四）：超平面详细解释
目录背景定义超平面方程推导平面直线方程空间平面方程超平面点到超平面的距离推导点到平面直线的距离点到空间平面的距离超平面判断超平面的正反背景关于超平面的介绍，网上的博客资料太多了，然而真正简洁易懂、切中要害的实在是太少了，我在学习这个问题的过程中遇到了太多坎坷，这里将一些比较直白易懂的讲解和个人理解展示出来。引用的一些图片、公式等来源于：https://www.cnblogs.com/yanghh/p/13617129.html定义见下图我不太想在定义上就用一些很复杂的解释手法，有很多博客
2021-01-19 15:17:31
2542
1
原创 SVM（三）：对偶问题最直白解释
目录原问题的转化对偶问题原问题的转化还记得我们求最优解的原始问题嘛？我们之前已经通过KKT算法得到了对于这个问题的最优解的求取办法，那为什么还要继续引出对偶问题呢？因为将原始问题转化为对偶问题是求解带约束优化问题的一种方法，当然这不是唯一的方法，只不过转化为对偶问题后往往更容易求解，因而被广为应用。关于对偶问题的动机说完了，下面我们把注意力集中在minf(x)min f(x)minf(x)上，然后有两条约束条件，其实约束条件相当于将解空间划分为了两块，空间1空间1空间1是符合约束条件，空间2空
2021-01-18 16:16:19
4577
1
原创 SVM（二）：KKT条件最直白的解释
目录约束有否有效的问题求解KKT条件约束有否有效的问题在KKT条件的诸多大佬的解释中，都有一个关于约束是否有效的讨论，然而大多数人都没有讲清楚，什么是所谓的约束是否有效，下面我想先针对这个问题进行一个解释。首先给出不等式约束条件，以及其拉格朗日公式。我们称符合g(x)<=0的区域为约束域，称f(x)的取值区域为目标域。然后下图中，左图是约束无效，右图是约束有效的两种情况，红色的是约束域，蓝色等高线是目标域：先看左图，当目标域最小值点（即某点使得f(x)取到最小值，注意，不是极小值，而
2021-01-18 11:31:17
3502
2
原创 SVM（一）：拉格朗日乘数法详解
目录what直观理解法高数书上的解法学习SVM的过程中遇到了这个拉格朗日乘数法，之前学高数的时候也学过，不过看到视频里的直观理解法和高数书上的解法有些不同，于是在这里把这两种方法记录下来，也当做是一次理解的过程。what先讲一下无条件极值，它是说没有约束条件下，单纯求一个函数极值的问题。比如我们高中就学过的求一个函数的极大值极小值，通常来说对该函数求导并使其等于0就可以得到该函数的极大值点和极小值点。与无条件极值相对的还有一个叫条件极值问题。首先什么是拉格朗日乘数法，它是解决条件极值问题的方法
2021-01-15 22:29:28
3359
原创 吴恩达深度学习04-2.67 Inception网络
目录whyhowProblemwhatwhy如果你不清楚选用什么尺寸的卷积核来进行卷积操作，那么Inception可以帮我们自动的选择是采用什么尺寸的卷积核或者干脆不进行卷积而是进行池化操作。卷积核的选取其实有时候非常困难，图像不同很难一概而论，比如以下图片：（图源：https://unsplash.com/）狗的图像可以是以上任意情况。每张图像中狗所占区域都是不同的。由于信息位置的巨大差异，为卷积操作选择合适的卷积核大小就比较困难。信息分布更全局性的图像偏好较大的卷积核，信息分布比较局部的图
2021-01-15 12:34:04
193
原创 协方差矩阵及其意义
协方差矩阵这里有一篇知乎回答的非常详细，网址如下：https://zhuanlan.zhihu.com/p/37609917其中关于协方差矩阵的内容我剪切到下面了，见下图之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。协方差矩阵的意义下部分引自另一篇博客https://blog.csdn.net/qq_23100417/article/details/84935692协方差代表的意义是什么?在概率论中，两个随机
2021-01-14 22:02:16
14449
2
原创 概率密度函数解释
这一部分属于概率论的知识，学过却有些生疏了，但是单纯为了了解这个再重新读一遍概率论有些奢侈，就用到什么知识就百度什么知识了，然后记录在博客里以防忘记。概率密度函数f(x)，表示随机变量x出现在某个确定点的概率。结合图像来理解，用最常见的正态分布图为例吧。图中f(9)约=0.19，表示随机变量x在9这个值的出现概率为0.19，比如一堆小孩子，x表示小孩子的年龄，9岁的小孩子大约占0.19（19%）。所以这个函数f(x)就是概率密度函数。...
2021-01-14 19:42:56
4176
原创 吴恩达深度学习04-2.5 1X1卷积
目录whatwhywhat先上图首先摆在你面前的是一个6*6有32个信道的张量，我们先看普通的3*3*32的的卷积操作。普通卷积操作是：每个信道（即每一层矩阵）的元素对位相乘作和（即将3*3的矩阵拿到6*6矩阵的左上角做对位相乘作和操作）得到一个实数，因为有32个信道（即32层厚度），我们会得到32个实数，再把这32个实数求和，我们得到了一步卷积之后的最左上角的一个实数（最终卷积得到的矩阵是4*4，设padding=0，step=1）。而后依次挪动卷积核就可以得到完整的4*4的矩阵了，这是一个卷
2021-01-14 15:28:53
293
3
原创 sigmoid ZigZeg解释
先上图关于图中zig zeg产生的原因，其实元凶是sigmoid只能得到正的激活值，所以假如有这么个网络：我们可以知道：dE/dw1=(dE/dy)∗(dy/dw1)=(dE/dy)∗a1d_{E}/d_{w1}=(d_{E}/d_{y})*(d_{y}/d_{w1})=(d_{E}/d_{y})*a1dE/dw1=(dE/dy)∗(dy/dw1)=(dE/dy)∗a1同理，dE/dw2=(dE/dy)∗a2d_{E}/d_{w2}=(d_{E}/d_{y})*a2dE/.
2021-01-13 20:07:23
577
原创 梯度消失与梯度爆炸解释
目录what & whyhowwhat & why首先，什么是梯度爆炸、梯度消失，或者说，emmmm，什么是梯度？下面通过一个神经网络来解释一下，（字不好还请见谅）之前看到吴恩达课程中关于梯度消失和梯度爆炸的课程讲解，当时就没太理解，直到今天这个问题出现了才不得不重新审视一下。上图是我简单写了一个每层只有一个神经元的神经网络，然后写了一下它反向传播更新w1参数的链式求导公式，因为梯度消失和梯度爆炸影响的是对于参数w的更新过程。梯度消失时，越靠近输入层的参数w越是几乎纹丝不动；梯度
2021-01-13 19:13:58
771
原创 吴恩达深度学习04-第一周卷积神经网络
目录卷积神经网络举例为什么使用卷积参数共享稀疏连接卷积神经网络举例第一周的课程比较基础，主要讲了有关卷积的基础知识，在这里我不赘述了，将重点内容再记录一下。首先看它在1-10中举的例子：过程比较简单，两个卷积-池化层，然后是三个全连接层，实现了一个有关手写数字识别的例子。输入的图像是32*32*3的RGB图像，我们对照第二个图表，一步一步的看一下。首先第一层输入层，32*32*3的图像，对应激活值是32*32*3=3072，这一层没有参数，参数parameters=0.而后，卷积层，采
2021-01-11 14:34:25
162
原创 吴恩达深度学习03-2.910 端到端的学习
目录什么是端到端学习（end-to-end learning）概念举例是否要使用到端到端学习什么是端到端学习（end-to-end learning）概念简单来说，就是一项有很多中间步骤的任务摆在你面前，它需要对输入x做很多步的中间处理，然后得到目标y。而端到端学习则只学习x对于y的映射，即学习输入x，对应标签输出y，而不考虑中间的过程处理，仅仅通过学习映射的方式来将此任务解决。这样的好处就是省去了中间处理的繁琐步骤，但并不是所有的任务都适合端到端学习，通常来说，数据量很多的时候端到端学习相比分步学
2021-01-10 14:07:08
601
原创 吴恩达深度学习03-2.78 迁移学习和多任务学习
目录迁移学习(Transfer learning)什么是迁移学习怎样进行迁移学习迁移学习何时有意义其他多任务学习迁移学习(Transfer learning)什么是迁移学习深度学习中，最强大的理念之一就是，有的时候，神经网络可以从一个任务中习得知识，并将这些知识应用到另一个独立的任务中。例如你已经训练好一个神经网络能够识别像猫这样的对象，然后使用那些知识，或者部分习得的知识去帮助你更好地阅读x射线扫描图。用神经网络的语言来描述迁移学习其实就是，借用你训练到某层的结点数据，加入新的训练集数据，
2021-01-10 00:12:21
603
1
原创 预训练和微调
所谓预训练，其实就是已经提前训练好的模型。比如，你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，你就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是 pre-training。之后，你又接收到一个类似的图像分类的任务。这时候，你可以直接使用之前保存下来的模型的参数来作为这一任务的初始化参数，然后在训练.
2021-01-09 19:48:27
2052
原创 吴恩达深度学习03-2.6 定位数据不匹配
问题很多时候都会存在验证、测试集数据与训练集数据分布不同的问题，目前并没有系统的方法来解决这样的问题，但是往往可以通过人工的方式，找出训练数据和验证测试数据的差别，然后试图对数据进行一些操作来平衡这些差别。例如语音识别，可能测试集数据语音有很多背景噪声，而训练集没有，当然，实际的语音识别环境肯定是有一些背景噪声的，所以对于训练集，我们可以进行一些操作，有人说可以适用合成声音，为清洗的训练集数据添加噪音。但是这么做是有潜在问题的，比如训练集某条数据声音长达1h，而你的噪音是10mins，有一种选择是将
2021-01-08 15:47:50
206
原创 吴恩达深度学习03-2.4 在不同的划分上进行训练并测试
目录在不同的划分上进行训练并测试总结在不同的划分上进行训练并测试设想这样一个场景，你需要识别用户上传的图片是否含有猫，你首先需要收集训练数据。如上所示，倘若你从网站上爬取了20w张高像素的照片，但只有1w张用户上传的不是那么清晰的图片数据，你手里只有这21w条数据，然而，只有1w张是你需要识别的用户上传的低像素图片的训练数据。可是你总不能不用那20w张高像素的吧，那么该如何划分训练集，验证集和测试集呢？其实就是这么一个问题，你要识别的目标数据分布和你手头训练数据的数据分布不同，然而偏偏还占了你手头
2021-01-08 14:49:26
150
计算机网络实验课码分多址CDMA.代码zip
2019-11-01
zhilian1.zip
2019-08-17
C#winform窗体+socket实现登录通信聊天软件(可私聊与群聊)
2019-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人