2020年10月18日日志

课后回顾(重点)

1.第一篇
梯度下降算法的每次迭代受到学习率的影响:
如果学习率𝑎过小,则达到收敛所需的迭代次数会非常高;
如果学习率𝑎过大,每次迭代可能不会减小代价函数,可能会越过局部最小值导致无法收敛。
考虑的学习率:
𝛼 = 0.01,0.03,0.1,0.3,1,3,10
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

梯度下降与正规方程的比较
2.flipup/flipud 表示向上/向下翻转。
矩阵的逆矩阵,键入 pinv(A),通常称为伪逆矩阵,矩阵 𝐴 求逆,因此这就是 𝐴矩阵的逆矩阵。
设 temp = pinv(A),然后再用𝑡𝑒𝑚𝑝 乘以𝐴,这实际上得到的就是单位矩阵,对角线为 1,其他元素为 0

3.第二篇

1.实现一个神经网络时,通常不直接使用for循环遍历整个训练集

2.神经网络的计算:前向传播+反向传播

3.逻辑回归模型:适用于二分类的算法

二分类问题:习得一个分类器,以图片的特征向量作为输入,预测输出结果y为1还是0

𝑋是一个规模为𝑛𝑥乘以𝑚的矩阵;

X.shape 等于(𝑛𝑥, 𝑚)

𝑌等于𝑦(1)… 𝑦(𝑚)

Y.shape 等于(1, 𝑚)

让𝑦^ 表示 𝑦 等于 1 的一种可能性或者是机会,前提条件是给定了输入特征𝑋。

换句话来说,如果𝑋是我们在上个视频看到的图片,你想让𝑦^来告诉你这是一只猫的图片的机率有多大。在之前的视频中所说的

𝑋是一个𝑛𝑥维的向量(相当于有𝑛𝑥个特征的特征向量)

𝑤来表示逻辑回归的参数,这也是一个𝑛𝑥维向量(因为𝑤实际上是特征权重,维度与特征向量相同)

参数里面还有𝑏,这是一个实数(表示偏差)。

所以给出输入𝑥以及参数𝑤和𝑏之后,我们怎样产生输出预测值𝑦,一件你可以尝试却不可行的事是让𝑦= 𝑤𝑇𝑥 + b

4.逻辑回归的代价函数

损失函数是在单个训练样本中定义的

算法的代价函数是对𝑚个样本的损失函数求和然后除以m

4.第三篇

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页