- 博客(3)
- 收藏
- 关注
原创 机器学习二------前向传播过程 反向传播算法(BP算法)Dropout 梯度消失和梯度爆炸
1.前向传播过程 ajl为第l层第j个神经元的激活值(激活函数的输出),不难看出,ajl的值取决于上一层神经元的激活:将上式重写为矩阵形式:为了方便表示,记 为每一层的权重输入, (2)式则变为 利用 (2)式一层层计算网络的激活值,最终能够根据输入 X得到相应的输出Y'。2.反向传播过程反向传播过程中要计算,我们先对代价函数做两个假设,以二次损失函数为例:其中n为训练样本x的总数,y=y(x)为期望的输出,即ground truth,L为网络的层数,为...
2021-09-30 15:26:30
3040
原创 CS231n——机器学习:线性分类器、Nearest Neighbor分类器、SVM分类器、Triplet loss(三元损失函数)
1.线性分类器线性映射:f(xi,W,b)=Wxi+b每个图像数据都被拉长为一个长度为D 的列向量,大小为[D x 1]。其中大小为[K x D]的矩阵W 和大小为[K x 1]列向量b 为该函数的参数。参数W被称为权重,b被称为偏差向量。输入数据(xi,yi)是给定不可改变的,但是参数W和b是可控制改变的,们的目标就是通过设置这些参数,使得计算出来的分类分值情况和训练集中图像数据的真实类别标签相符。线性分类器:计算图像中3个颜色通道中所有像素的值与权重的矩阵乘,从而得到分类分值。
2021-09-24 20:24:36
537
原创 Python查漏补缺
1.python中的深浅拷贝浅拷贝:源对象不止一级目录的话,源做任何改动,都要影响浅拷贝。深拷贝:源对象只有一级目录的话,源做任何改动,不影响深浅拷贝对象深拷贝就是在内存中重新开辟一块空间,不管数据结构多么复杂,只要遇到可能发生改变的数据类型,就重新开辟一块内存空间把内容复制下来,直到最后一层,不再有复杂的数据类型,就保持其原引用。这样,不管数据结构多么的复杂,数据之间的修改都不会相互影响。2.辅助迭代:map、zip、enumeratemap函数:defsquare(x): ...
2021-09-22 18:36:54
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人