吴恩达学习笔记
文章平均质量分 54
stay or leave
这个作者很懒,什么都没留下…
展开
-
逻辑回归与梯度下降法
前进一小步,不断修正w和b。每次迭代更新w和b后,都能让J(w,b)更接近全局最小值。引入Sigmoid函数,让输出限定在[0,1]之间,y^=Sigmoid(wTx+b)=σ(wTx+b)梯度下降算法是先随机选择一组参数w和b值,然后每次迭代的过程中分别沿着w和b的梯度(偏导数)的。单个样本损失函数:L(y^,y)=−(ylog y^+(1−y)log (1−y^))计算该逻辑回归的反向传播过程,即由Loss function计算参数w和b的偏导数。逻辑回归的线性预测输出可以写成:y^=wTx+b。原创 2023-04-17 11:25:30 · 557 阅读 · 0 评论 -
超参数的设置;使用适当的尺度来选择超参数;批量归一化;测试时的批量标准化:
这样,[0.0001, 0.001],[0.001, 0.01],[0.01, 0.1],[0.1, 1]各个区间内随机采样的超参数个数基本一致,也就扩大了之前[0.0001, 0.1]区间内采样值个数。一般解法是,如果线性区间为[a, b],令m=log(a),n=log(b),则对应的log区间为[m,n]。均匀随机采样:对于超参数#layers和#hidden units,都是正整数,是可以进行均匀随机采样的,即超参数每次变化的尺度都是一致的(如每次变化为1,犹如一个刻度尺一样,刻度是均匀的)。原创 2023-04-19 09:42:48 · 503 阅读 · 0 评论 -
指数加权平均;动量梯度下降算法;RMSprop;适应性矩估计算法优化Adam
Adam算法包含了几个超参数,分别是:α,β1,β2,ε。其中,β1通常设置为0.9,β2通常设置为0.999,ε通常设置为10−8。而如果对梯度进行指数加权平均,这样使当前梯度不仅与当前方向有关,还与之前的方向有关,这样处理让梯度前进方向更加平滑,减少振荡,能够更快地到达最小值处。Adam(Adaptive Moment Estimation)算法结合了动量梯度下降算法和RMSprop算法。实际应用中,Adam算法结合了动量梯度下降和RMSprop各自的优点,使得神经网络训练速度大大提高。原创 2023-04-19 08:48:51 · 98 阅读 · 0 评论 -
Train/Dev/Test sets的比例选择;防止过拟合的两种方法:L2 regularization和Dropout;梯度消失和梯度爆炸的概念和危害;梯度初始化;梯度检查
因此,迭代训练次数不是越多越好,可以通过train set error和dev set error随着迭代次数的变化趋势,选择合适的迭代次数,即early stopping。这样也是可以的,不需要再进行无偏估计了。如果数据量很大的时候:对于100万的样本,Train/Dev/Test sets的比例通常可以设置为98%/1%/1%,或者99%/0.5%/0.5%。假设Train set error为1%,而Dev set error为11%,即该算法模型对训练样本的识别很好,但是对验证集的识别却不太好。原创 2023-04-17 23:10:51 · 468 阅读 · 0 评论 -
深层神经网络的正向传播与反向传播,深层神经网络优于浅层神经网络程度原因,超参数与参数
通常的做法是选择超参数一定范围内的值,分别代入神经网络进行训练,测试cost function随着迭代次数增加的变化,根据结果选择cost function最小时对应的超参数值。而超参数则是例如学习速率α,训练迭代次数N,神经网络层数L,各层神经元个数n[l],激活函数g(z)等。之所以叫做超参数的原因是它们决定了参数W[l]和b[l]的值。尽管深度学习有着非常显著的优势,Andrew还是建议对实际问题进行建模时,尽量先选择层数少的神经网络模型,这也符合奥卡姆剃刀定律(Occam’s Razor)。原创 2023-04-17 18:01:27 · 196 阅读 · 0 评论 -
浅层神经网络,以向量的形式表示神经网络的正向输出,激活函数比较,神经函数的反向传播,权重随机初始化
单个样本的浅层神经网络正向传播矩阵运算过程:输入层到隐藏层的计算公式:从隐藏层到输出层的计算公式为:其中a[1]为:将上述表达式转换成矩阵运算的形式:对于m个训练样本,我们也可以使用矩阵相乘的形式:原创 2023-04-17 16:13:40 · 104 阅读 · 0 评论 -
python和向量化
其中,alpha是学习因子,决定w和b的更新速度。上述代码只是对单次训练更新而言的,外层还需要一个for循环,表示迭代次数。为什么要向量化:使用for循环运行时间是使用向量运算运行时间的约300倍。原创 2023-04-17 12:25:52 · 218 阅读 · 0 评论