![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
夜游神fff
这个作者很懒,什么都没留下…
展开
-
GAN损失函数的理解:
GAN损失函数的理解:因为根据对GAN的理解来看,GAN的生成器希望输出的数据分布能够更加的接近真实数据的分布,同时GAN的判别器需要从真实数据和生成器输出的数据之间做出判断,找到真实数据和fake数据。根据GAN的损失函数:minGmaxDL(D,G)=Exr∼Pr(.)logD(x)+Ez∼Pg(.)log[1−D(G(z))]\min_G \max_D L(D,G) = E_{x_...原创 2020-03-01 17:20:03 · 13041 阅读 · 1 评论 -
局部相关性和权值共享
局部相关性和权值共享:局部相关性:目的:为了避免全连接网络的参数集过大的缺点。 以图片为例,对于2D图片通常在进入全连接层之前将矩阵数据打平成1D向量,然后每个像素点与每个输出节点两两相连。网络层中,每个输出节点都与所有的输入节点相连,这种稠密的(Dense)连接方式使得全连接层的参数量大,计算代价高,全连接层也叫做稠密层(Dense Layer),当全连接层的激活函数为空时...原创 2020-01-14 21:33:25 · 1765 阅读 · 0 评论 -
防止过拟合的方法:
防止过拟合的方法: 机器学习的主要目的是从训练集上学习到数据的真实模型,在未见过的测试集上面表现良好,我们把这种能力叫做泛化能力。通常,训练集和测试集都采用摸个相同的数据分布p(x)p(x)p(x) ,采样得到的样本是相互独立的,但是有来自于相同的分布,即独立同分布假设(Independent Identical Distribution assumption,i.i.d)。...原创 2020-01-13 22:26:58 · 220 阅读 · 0 评论 -
正则化:
正则化:L0L_0L0,L1L_1L1,L2L_2L2正则化 通过设计不同的层数,大小的网络模型可以为优化算法提供初始的函数假设空间,但是模型的实际容量可以随着网络参数的优化更新产生变化,以一个多项式函数模型为例:y=βo+β1x+β2x2+β3x3+......βnxn+εy = \beta_o+\beta_1x+\beta_2x^2+\beta_3x^3+........原创 2020-01-13 17:49:37 · 218 阅读 · 0 评论 -
池化层的作用总结:
池化层的作用总结:在卷积神经网络中通常会在相邻的卷积层之间加入一个池化层,池化层可以有效的缩小参数矩阵的尺寸,从而减少最后连接层的中的参数数量。所以加入池化层可以加快计算速度和防止过拟合的作用。池化的原理或者是过程:pooling是在不同的通道上分开执行的(就是池化操作不改变通道数),且不需要参数控制。然后根据窗口大小进行相应的操作。 一般有max pooling、average poolin...原创 2020-01-06 16:45:45 · 69367 阅读 · 4 评论