深度学习
SoHardToNamed
自动化,机器学习。
展开
-
Lagrange Duality
1minimize subject to,whereis a nonempty set,andand, are given functions.: optimal value.feasible(vecter) : satisfying the CP2maximize subject towhere the dual functio...原创 2019-03-19 21:17:53 · 220 阅读 · 0 评论 -
笔记-向量化
对于logistics函数,,那么要实现这条函数,非向量化时代码如下"z = 0for i in range(n): z += w[i]*X[i]z += b向量化时代码如下:z = np.dot(w,X) + b明显向量化代码量更少,且可以验证运行速度更快。...原创 2019-04-01 21:07:38 · 258 阅读 · 0 评论 -
笔记-m个样本的梯度下降
前面我们学习到单个样本的梯度下降,那么对于m个样本,我们应该如何计算呢?首先回顾一下成本函数其中那么m个样本便有m个特征参数。其中下面我们来写具体的代码For i=0 to m: for j=0 to n: for j=0 to n: for j...原创 2019-04-01 20:53:20 · 773 阅读 · 0 评论 -
笔记-python中的广播
在神经网络算法中,我们经常会用到矩阵运算,也经常会遇到一些问题,比如因为矩阵的维度不同,一个2*3的矩阵就不能跟一个1*2的矩阵做四则运算,但是python的设计哲学讲究易用,所以在python的numpy包中,采用了一种称为广播的设计方法,可以减少使用者花费大量的时间去对数据做各种繁杂的维度变换。下面举几个在神经网络中经常用到的广播技巧:1、矩阵内运算:对于一个包含系统信息的m*n矩阵,...原创 2019-04-04 20:37:32 · 384 阅读 · 0 评论 -
笔记-向量化logistic回归的梯度输出
对于一次logistic回归的代码实现,如果高度向量化,则代码如下:原创 2019-04-04 20:06:28 · 695 阅读 · 0 评论 -
笔记-梯度下降法
前面我们已经知道了如何衡量模型的预测效果,并且知道了如果要使得模型预测效果最佳,应该让成本函数取得最小值。但是我们应该如何找到使得成本函数取最小值的和呢?因为成本函数是凸函数,所以可以用梯度下降法。梯度下降法以一维的为例,图示:由图可以知道,有两个参数需要我们确定,一个是自变量起始值,一个是没次迭代的步长。显然对于一个凸函数,不管起始点定在哪,结果都会趋近于同一个最小值点,但基于编程...原创 2019-03-19 14:30:50 · 325 阅读 · 0 评论 -
笔记-logistic回归损失函数
在上一篇博文中,我们成功构建了logistic回归的数学模型,但是和的值应该如何确定呢?那么我们就需要用到训练集,让模型进行监督学习,训练集中包含自变量和对应的正确的输出,我们需要做的就是不断调整和的取值,使得模型对于训练集中自变量的输出能最优地符合训练集中标定好的正确结果。下面我们具体来谈一谈如何实现对模型的训练。为了完成上诉训练,我们需要知道模型的结果与正确结果的相差几何,基于此,我们...原创 2019-03-18 21:29:33 · 780 阅读 · 0 评论 -
笔记-logistic回归算法
算法特性:在监督学习中进行二元分类的常用算法算法详解:我们希望输入一个自变量x,通过算法输出二元分类的结果。那么应该如何来构造这样一个数学模型呢?事实上我们更希望这个数学模型可以实现这样一个过程:输入一个待分类的自变量(可以是一张图片、一段音频或其他),如何输出的是一个概率,表示数学模型对输入的概率预测。这样的话我们就可以通过神经网络模型来搭建我们的logistic数学模型了。我们...原创 2019-03-18 17:16:16 · 285 阅读 · 1 评论 -
笔记-二元分类
案例详解输入一张图片:如果是猫输出1,如果不是猫输出0。即为二元分类。原创 2019-03-18 16:32:40 · 573 阅读 · 0 评论 -
笔记-logistic回归中的梯度下降法
前面我们讲到,logistic回归函数为:使用的损失函数为:假设输入的样本只有两个特征值。则对于我们要求最小值的损失函数来说,输入的参数为:。表示成计算图为:如果数据沿着前向传播的路径,则可以得到损失函数对应于输入的值。如果要使用梯度下降法找到函数的最小值,则需要将数据反向传播。通过反向传播分别得到参数的导数。就可以使用梯度下降法的迭代公式:来找到最值点啦!...原创 2019-03-21 20:39:32 · 530 阅读 · 0 评论 -
笔记-计算图
在神经网络算法中,数据总是在各个神经层中传播,其中,沿着输入层到输出层方向的传播称为前向传播,沿着输出层到输入层方向的传播称为反向传播。那么我们应该如何理解传播呢?传播在神经网络中又是如何起作用的呢?下面我们通过一个例子来解释。对于一个三元函数,我们的计算过程可以分为以下三步:1.2.3.表示成计算图就是:以上计算过程我们称为前向传播,也就是数据传播方向是从左到右的过程...原创 2019-03-20 20:51:31 · 230 阅读 · 0 评论 -
笔记-向量化logistic回归
对于单个样本,有那么对于多个样本,便有:我们令则Z = np.dot(w.T,X) + b其中原创 2019-04-01 21:23:24 · 411 阅读 · 0 评论