![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
deeplearning学习笔记
包括李宏毅深度学习公开课视频、西瓜书等学习过程中的笔记
ssf-yasuo
把博客当笔记本用了,私信和评论可能很久才会回复
展开
-
week2课堂笔记
搜索技巧: 必应国际版在谷歌用不了的时候用 知乎好过百度 快照功能 + 表示一定包含,-表示剔除,要加个空格 “ ”内的内容表示不可拆分 *表示通配符,表示不确定内容,模糊搜索,比如how * you, 或者吴*豪 intitle:关键词 是一个指令,表示标题要有该关键词 site: 网站 限定在某个网站内搜关键词 filetype: ppt 限定搜索特...原创 2020-03-11 10:31:16 · 132 阅读 · 0 评论 -
李宏毅深度学习笔记3
如果使用traditional supervised approach,输出的图片会比较模糊,因为最后计算距离没有很好的损失函数。这时可以使用traditional GAN的方法,将待处理图片作为condition,将处理结果做为真实图片,将G的输出作为D的输入,同时可以在G的输出处加一个neck损失函数度量与原图像的相似性,可以有效地抑制GAN加一些多余的东西风格转换:使用cycle G...原创 2019-07-24 08:17:36 · 189 阅读 · 0 评论 -
李宏毅深度学习17学习笔记2
capsule: 其中c1 c2是dynamic routing的,而不是back propagation train出来的,c1和c2的和必须是1,如何得到c1和c2?: 循环的意义在于,不断的调整中,使偏离集体的输入有更低的c,每一个capsule可以看成一个类似于rnn的结构,而真正起预测作用的,是v的模长: 也就是说,当你需要n分类输出的时候,你需要在输出层有n个capsule,每...原创 2019-07-18 10:35:12 · 167 阅读 · 0 评论 -
Batch Normalization
先做normalization再做activation batch 要大 梯度是会传到μ和方差并进一步传到W的,也就是说,多了一条back_propagation的路径到达W 在test 的时候,μ和方差得到的方式和train是不一样的,train的时候是每个batch的均值和方差,而test的时候取的μ和方差是train的时候的均值和方差的滑动平均 batch normalization...原创 2019-07-17 10:49:29 · 99 阅读 · 0 评论 -
GRU
这是一个未展开的RNN图 对于每个输出 X,会根据上一刻的隐藏状态 h(t-1),通过重置门,得到一个候选隐藏状态 h~。 而我们真正要计算的隐藏状态 h(t) ,会根据上一时间的隐藏状态 h(t-1) 和候选隐藏状态 h~,通过 z 更新门来更新。...原创 2019-07-15 16:39:31 · 1009 阅读 · 0 评论 -
LSTM
关于LSTM以下个人网站讲得很不错http://lawlite.me/2017/06/21/RNN-%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B9%8BLSTM%E5%92%8CGRU-04%E4%BB%8B%E7%BB%8D%E5%8F%8A%E6%8E%A8%E5%AF%BC/...转载 2019-07-15 16:33:33 · 134 阅读 · 0 评论 -
李宏毅2017深度学习学习笔记1
pooling 有两种方式,一种是把同一感受野的输出pooling,起到的是maxout network的作用,即把同一感受野通过不同filter的结果进行max out以使模型能辨别多样性输入;另一种是把同一filter 的输出pooling,起到的是down sampling的作用 language model 中的matrix factorization 和 NN 方法 ...原创 2019-07-14 19:00:42 · 404 阅读 · 0 评论 -
西瓜书强化学习笔记
epsilon-贪心算法:以epsilon的概率随机选取摇臂,以1-epsilon的概率选择平均奖赏最高的摇臂,其中epsilon可以取0.1或者1/根号t,即随时间变小 softmax算法中摇臂几率的分配基于boltzmann分布,平均奖赏高的摇臂被选中的概率高于平均奖赏低的摇臂 其中,Q(i)为当前摇臂的平均奖赏, τ>0称为温度,越小则平均奖赏高的摇臂选取率越高,趋于0时趋于仅利...原创 2019-07-17 22:09:13 · 369 阅读 · 0 评论