深度学习
IAN27
这个作者很懒,什么都没留下…
展开
-
2.10 m个样本的梯度下降法
成本函数 J(w,b)的定义 ==>一个平均值,从i=1到m的损失函数L之和的平均值。其中,这个损失函数L是当算法在样本(x,y)上输出了 ai。ai是训练样本的预测值,也就是sigmoid(zi)在之前,我们做的是对于任意单个训练样本,如何计算导数,即当值有一个训练样本时,计算dw1(i),dw2(i),db(i)。已知全局成本函数是一个求和的过程,从1到m项的损失函数和的平均值。由此可知 ==>全局成本函数 J(w,b) 对 w1 的导数 就等于 >这个导数看起来复杂,原创 2020-09-08 18:42:44 · 898 阅读 · 0 评论 -
2.9 Logistic回归中的梯度下降法
举例,使用之前定义的logistic回归的公式现在我们通过计算图写出这个样本的流程图 >假设样本中,只有两个特征x1和x2为了计算出z,还需要w1,w2,以及b参数>然后,我们通过z去计算y ̂ ==>最后计算,损失(误差)函数L ==>综上,在logistic回归中,我们需要做的就是通过变换w与b的值,去让损失函数变成最小值。在之前,我们已经描述了前向传播的步骤,在单个训练样本上计算损失函数。接下来让我们讨论一下怎么向后计算偏导数。我们的目标是找到损失函数的原创 2020-09-08 17:47:06 · 631 阅读 · 0 评论 -
2.7-2.8 计算图的前向与后向计算
计算图举例,一个含有3个参数的函数J。J(a,b,c) = 3 (a+bc)其中 ,u =bcv = a+uJ = 3v通过计算图表示前向过程则为代入值后,J = 3(5+3x2) = 33利用流程图求出J对应每个变量的导数 ==> 后向过程求dJ / dv即J对v的导数。用之前的方法求 ==>已知J = 3v当v = 11 时,J = 33则当v = 11.001 时,J = 33.003J的增量 除以 v的增量 =3所以, dJ / dv = 3原创 2020-09-08 17:08:11 · 542 阅读 · 0 评论 -
2.5-2.6 导数
导数 Derivatives举例 f(a) = 3a当a=2时,f(a)=6当a=2.001时,f(a)=6.003图中绿色三角形表示==>如果a的值向右移0.001,则f(a)增加0.003的值,即3倍于a向右移的量。==>f(a) 的斜率slope(导数derivative)在a=2时,斜率为3,这里的导数几乎就意味着斜率。更正式的斜率定义,高除以宽,即上例中0.003/0.001 = 3,即斜率(导数)等于3。假设a = 5,f(a)=15假设a = 5.001,f原创 2020-09-08 16:11:44 · 680 阅读 · 0 评论 -
2.4 梯度下降法
梯度下降法如何使用梯度下降法来训练或学习训练集上的参数w和b。之前,我们定义了logistic回归算法 y ̂以及 成本函数 J。这个成本函数J的参数是w和b。定义为平均值,1/m 的 损失函数之和。其中的损失函数可以衡量你的算法的效果,每一个训练样例都输出yi ̂,再把它 与基本 真值标签yi进行比较。如果想要通过学习获得合适的参数w和b,就需要通过 找到一个 w,b值,能让成本函数J尽可能的小,这就需要使用到梯度下降法。图形的高,代表了J(w,b)在某一点的值。我们需要做的就是,找到原创 2020-09-08 15:17:16 · 527 阅读 · 0 评论 -
2.3 Logistic回归损失函数
上一节,举例说明了一个Logistic回归模型。为了训练Logistic回归模型的参数w以及b,需要定义一个Cost Function。这是上一节所定义的函数,其中σ 指的是 sigmoid函数。为了让模型来通过学习调整参数,需要一个训练集样本m。通过在训练集找到参数w和b来得到你的输出 ==> 对训练集中的预测值y ̂ 。损失函数(误差函数)用于衡量算法的运行情况。Loss(error) function:L(y ̂,y) = 1/2 * (y ̂-y)^2但是使用均方误差不是一个原创 2020-09-08 14:31:22 · 2091 阅读 · 0 评论 -
2.2 Logistic回归
Logistic回归Logistic回归是一个学习算法,用在监督学习中,输出y标签是0或1时,二分分类问题。例如,图片识别是否为猫的例子中。给定特征向量x,需要一个算法,可以给出一个预测值 ̂y 。这个预测值可以表示当 y为1时的概率。也就是说,这个预测值需要能表示这是一张猫图的概率。x 是一个n x维向量;Logistic回归的参数是w,同样也是一个n x维向量,b是一个实数。综上,已知输入x和参数w和b,如何计算预测值 ̂y的值呢?输入x 的线性函数 ==>这就是一个简单的线性原创 2020-09-08 11:57:23 · 742 阅读 · 0 评论 -
2.1二分分类
二分分类具体,输入一张图片,输出1或0标签对应识别图片中的对象是否为猫。这个图片是如何在计算机中表示的呢?计算机要保存一张图片,需要保存三个独立矩阵,分别对应红绿蓝三个颜色通道,例如输入的图片是64x64像素的,对应的输出就为3个 64x64矩阵分别对应图片中的红,绿,蓝三种像素的亮度。将这些像素的亮度 放入 一个特征向量x中,把图片中所有的红、绿、蓝像素强度值都列出来。如果图片是64x64,那对应的特征向量x的总维度则为 64x64x3 = 12288 ==> nx = 12288。在原创 2020-09-08 11:18:29 · 310 阅读 · 0 评论 -
第一周测验 - 深度学习简介
第一周测验 - 深度学习简介1.和“AI是新电力”相类似的说法是什么?【 】AI为我们的家庭和办公室的个人设备供电,类似于电力。【 】通过“智能电网”,AI提供新的电能。【 】AI在计算机上运行,并由电力驱动,但是它正在让以前的计算机不能做的事情变为可能。【√】就像100年前产生电能一样,AI正在改变很多的行业。请注意: 吴恩达在视频中表达了同样的观点。————————————————2.哪些是深度学习快速发展的原因? (两个选项)【√】 现在我们有了更好更快的计算能力。【 】神经原创 2020-09-07 23:40:06 · 464 阅读 · 0 评论 -
1.3 用神经网络进行监督学习
用神经网络进行监督学习什么是监督学习?到目前为止,几乎所有由神经网络创造的经济价值都基于监督学习。在监督学习中,输入x,通过 学习一个函数,映射到输出y。例如 房价预测,在线广告,图像识别,语音识别,文本翻译,无人驾驶等。在这些应用中,使用者需要聪明的选择x,y才能解决特定问题。然后把这个监督学习过的组件,嵌入到更大的系统中。不同的神经网络,对应应用于不同的地方。例如,在房价预测中,我们使用了标准的神经网络结构。对于在线广告也是一样。StandardNN在图像识别领域,通常使用的是卷积神经原创 2020-09-07 23:10:43 · 687 阅读 · 0 评论 -
1.2 什么是神经网络?
什么是神经网络?例如在下图中,有5个已知房源的信息,每个叉对应不同的价格与房子的大小。如果想要找到一个函数能够根据房屋的面积大小去预测房价 ⇒ 则需要根据线性回归,用这些数据来拟合一条直线。由于房价不可能为0,所以在原点处弯曲了一些,让它结束于0综上,就可以把这个房屋加上这个拟合函数 看作是 一个非常简单的神经网络。我们将房屋的面积 作为神经网络的输入 x;通过 一个独立的神经元;将房价输出为 y。这样一个网络,就实现了上述函数的功能。这个神经元做的就是 输入面积,完成线性运算,选取不原创 2020-09-07 22:38:42 · 162 阅读 · 0 评论