机器学习
文章平均质量分 62
tomeasure
一个立志于用编程满足自己吃货欲望的吃货
展开
-
ReBel 论文学习笔记
Combining Deep Reinforcement Learning and Search for Imperfect-Information Games原创 2023-08-14 10:46:07 · 238 阅读 · 0 评论 -
Group Norm 学习笔记
论文:《Group Normalization》地址:https://arxiv.org/pdf/1803.08494.pdf优势:小批量训练时优势明显(相比另三个 Norm)其他:Batch Norm、Layer Norm、Instance Norm方法将通道分组,在每组做 Norm代码源自论文def GroupNorm(x, gamma, beta, G, eps=1e−5): # x: input features with shape [N,C,H,W] # gamm.原创 2021-08-19 16:45:52 · 604 阅读 · 0 评论 -
深度学习中的几种正则化(Regularization)方法
正则化是一种策略,目的是减少测试误差,大体方式是通过增加(或减少)模型所能拟合的函数的数量来增加(或减少)模型的容量。使用参数范数惩罚通常只惩罚权重,不惩罚偏置。基本公式:J~(θ;X,y)=J(θ;X,y)+αΩ(θ)\widetilde{J}(\pmb{\theta};\pmb{X},y)=J(\pmb{\theta};\pmb{X},y)+\alpha\Omega(\pmb{\t...原创 2019-10-23 16:32:41 · 4283 阅读 · 0 评论 -
Layer Normalization学习笔记
原论文:《Layer Normalization》目的:消除 Covariate Shift 问题论文以几何的视角对 Layer Normalization 在生成线性模型(Generalized Linear Models, GLM)上的效果进行了数学上的分析,值得读一下。论文最后补充了一些LN的应用,可以在使用的时候作参考。说明:Layer Normalization 是对 Ba...原创 2019-10-18 18:16:15 · 2216 阅读 · 0 评论 -
SMO算法伪代码
摘自Platt论文的smo伪代码原创 2017-11-26 20:16:02 · 2296 阅读 · 0 评论 -
KL距离
KL距离全称:Kullback-Leibler差异(Kullback-Leibler)又称:相对熵(relative entropy)数学本质:衡量相同事件空间里两个概率分布相对差距的测度定义:D(p∣∣q)=∑x∈Xp(x)logp(x)q(x)D(p||q)= \sum_{x \in X} p(x) log \frac {p(x)}{q(x)} D(p∣∣q)=x∈X∑p(...原创 2019-06-16 20:44:45 · 4774 阅读 · 0 评论