- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 深度学习理论——Softmax
大家好，继续理论的学习，虽然前面的博客已经简略介绍了目标函数和Softmax，但最近又更深入学习了一些，因此再为Softmax单独开一篇博客，介绍Softmax是如何配合Loss函数求偏导，根据梯度下降法反向传播的。学到很多，我们下期见！...
2018-06-28 10:48:41
522
原创 深度学习理论——SVM（支持向量机）
大家好，今天学习了SVM相关知识，真的很难，看了很久，依旧手推公式，总结出来，希望能帮到大家。SVM是一种二分类模型，在特征空间中寻求间隔最大化的分离超平面。具体推导如图：对了我发现前面那个y为什么取1不影响忘记说了。。。手打公式不方便，简言之就是就算公式里有y也不影响结果，因为是对w和b求偏导。有不懂得欢迎问我，我们下期见。...
2018-06-26 21:14:25
1868
原创 LeetCode刷题——无重复字符的最长子串(beat 80%)
大家好，穿插刷题日记，继续leetcode，中等难度，字符串。题目要求如下：思路：构建一个字符串t用来保存子串，但这个t是不管是否有相同字符只写入不删除的，t会越来越长直到变成完整的字符串s，因此我们定义一个point表示当前不重复子串的起头位置，每当读入s的一个新的字符，我们就判断其与point和t的最后一个字符之间的字符是否相等。第二点是构造一个vector temp来计算每一个不重复的子字符...
2018-06-25 22:06:55
314
原创 深度学习理论——logistic回归算法
大家好，继续理论学习日记，今天介绍很基础的logistic回归的公式推导，很多书上只是写了公式，并没有推导过程，我这次全都写出来了，还加了注释，希望对大家有帮助。首先介绍一下logistic回归算法的思路：1.首先构造或选取一个预测函数，比如Sigmod，RELU这种，用来进行最后的分类。（即下文中h函数）2.构造一个代价函数（或称为损失函数）来表示输出和真实值之间的损失值（即下文中l函数）3.我...
2018-06-25 16:48:49
1111
原创 Leetcode刷题——三数之和
大噶猴，前一段比较忙，刷题日记被耽搁了一段时间，从今天起开始恢复。今天开始刷leetcode中等难度的算法题了，第一道是三数之和，看下题目要求：思路：好久没刷题了手非常生，思路也很枯竭，只想到了暴力循环，找到所有相加等于零的vector之后对每一个vector做一个排序然后判断是否相等，erase掉相同的元素。代码是这样的：class Solution {public: vector&l...
2018-06-24 17:15:03
2227
原创 深度学习理论——目标函数（损失函数）&正则化&交叉验证
大家好，继续理论学习，网络的设置接近了尾声，本次学习目标函数和正则化。1.目标函数(1)分类问题中的目标函数这类问题中最常用的就是交叉熵函数了，也即softmax。假设共有N个训练样本，针对网络最后分类层第i个样本的输入特征为xi，其对应的真实标记为yi，hi为其网络对应的最终输出，C为分类任务的类别数。有了如上定义，其形式可写为：(2)回归问题中的目标函数在分类任务中，最后的样本真实标记实际上是...
2018-06-13 17:17:22
5821
原创 深度学习理论——数据预处理(逐样本减去均值)
大家好，继续深度学习的理论日记，本次介绍数据预处理相关内容。在深度学习中，大家都会发现训练集，验证集合测试集划分好之后会有减去均值的一步操作，但很多人都是只跟着做，并没有探究为什么要做这一步处理。其主要原理是我们默认自然图像是一类平稳的数据分布(即数据每一维的统计都服从相同分布)，此时，在每个样本上减去数据的统计平均值可以移除共同的部分，凸显个体差异。其效果如下所示：可以看到天空的纹理被移除了，凸...
2018-06-12 15:26:15
11835
4
原创 深度学习理论——基本结构（池化层&激活函数&全连接层）
大家好，继续深度学习理论学习。记录一下自己觉得有用的关于深度学习基本结构的相关知识。1.池化层池化层不包含需要学习的参数，使用时仅需指定池化类型，池化核大小和池化步长。池化类型一般都取平均池化(average-pooling)或最大值池化(max-pooling)，即取池化矩阵覆盖的输入中的平均值或最大值。池化层存在的意义一般有以下三点：(1)特征不变性 池化使模型更关注是否存在...
2018-06-09 21:10:28
7124
原创 深度学习理论——随机梯度下降法(SGD) & 反向传播
大家好，一直在用深度学习，但是感觉理论并不扎实，打算开始补点理论基础，在CSDN上记录下来。今天介绍随机梯度下降法和反向传播，首先介绍梯度下降法。1.梯度下降法梯度下降法是从初始值开始，向函数上当前点对应梯度的反方向的规定步长的距离点进行迭代搜索，最终得到最小值的过程。公式简易推导如下：更直观的图像表示如图所示：这是学习率为0.001，迭代两百次的示意图，当学习率设的更...
2018-06-08 11:07:21
10369
1
原创 Linux入门——vi/bash/echo/set
大家好，项目需要，这两天看了一下Linux入门，只是一些基础知识，给自己记录一下。1.vi不管是vi还是vim都是Linux的一种常用编辑器，执行vi命令就是在调用这个编辑器。在编辑完想要退出编辑器的时候，输入：进入vi的末尾模式，如果想要退出vi的同时保存所编辑的内容，就是如wq，如果不保存所编辑的内容想要强行退出，就输入q!2.bash很多Linux系统都默认使用bash（Bourne Aga...
2018-06-07 11:06:15
822
神经网络与深度学习
2017-10-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人