深度学习
Fogjio
Vanilla的贴身门卫陈大爷
展开
-
网络权重初始化方法
如何开始一个网络训练,参数初始化方法。了解就行不是很重要。 初始化方法initialization Methods 如何开始一个训练?参数初始化是怎么进行的? 1.Gaussian N(0,1) 将CNN网络的所有参数都初始化为均值为0,标准差为1且符合高斯分布的方法,这种方法是十分naive的。同样的方法还有: 初始化为0;所有神经元梯度相同,参数最终相同 初始化均值为0,方差为1,且控制量纲 * 0.001;只适合浅层网络,随着网络层的传递,方差会减小,维持不住学习需要的信息量,出现数据塌缩 2.X原创 2020-06-10 15:11:10 · 523 阅读 · 0 评论 -
深度学习解决方法及问题汇总
深度学习分类问题 1.分类基本内容 A二分类Binary Classification 1)非线性Non-Linearity Sigmoid:h(θ)=11+e−θTX Sigmoid: h(\theta) = \frac{1}{1+e^{-\theta^TX}} Sigmoid:h(θ)=1+e−θTX1 2)损失函数Loss 使用交叉熵函数: CrossEntropy:H(p,q)=−∑ip...原创 2020-03-01 22:09:33 · 1119 阅读 · 0 评论 -
原始GAN训练流程与存在问题
1.简单的GAN训练流程 1训练流程 创建标签,判别器Discriminator区分Real Image和Fake Image归根结底是一个二分类。这里不能用数据集自带标签。 valid = Tensor(image.size(0), 1).fill_(1.0).detach() # Tensor(batch size row,1), fill 1.0 mark Real Image fa...原创 2020-02-28 11:30:54 · 1169 阅读 · 0 评论 -
直观理解GAN公式含义,直击灵魂
理解GAN的基本思想 1.GAN是干什么的 GAN于2014年Goodfellow提出,提出的出发点&创新点是: ①我们能不能通过深度学习生成图片? 我们通过Generative Adversarial Network [对抗生成网络]生成图片。GAN的类型 是一种“方法论”而不是网络结构 ,既可以用于与NN结合,也可以与CNN结合。 ②如何解决? 生成器:Generatior 决策器:D...原创 2020-02-25 16:53:11 · 1962 阅读 · 1 评论 -
#深度学习#浅层神经网络手动搭建-基于python
浅层神经网络搭建 数据来源: https://blog.csdn.net/u013733326/article/details/79702148 参考:https://blog.csdn.net/qq_29762941/article/details/80343185 目标: 手动建立一个基于反向传播的神经网络,包含一个隐藏层,实现一个二维平面数据分类。可以在jupyter notebook上分布...原创 2019-06-05 22:25:47 · 458 阅读 · 0 评论