![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习中理论知识
文章平均质量分 57
种棒影妞
explain is pale,show me code
展开
-
Gradient Descent
Adagrad why g2/σ2 g^2/\sigma^2g2/σ2 because Stochastic Gradient Descent why normalization原创 2019-05-21 18:20:27 · 134 阅读 · 0 评论 -
深度学习基础-准确率,召回率,F1;深度学习中误差来源
precision recall IOU precision:事件过程中目标所占比例; recall: 从关注领域中,目标所占比例; IOU: 在检测领域,产生的候选框和之前标记的交并比; 栗子 假设一个盒子中100个红球,50个绿球,50个篮球,在一次抓取过程中 抓到60个红球,20个绿球,20个篮球,求这次抓取的 precision,recall, precision=60/...原创 2019-05-16 16:41:32 · 3909 阅读 · 0 评论 -
深度学习模型压缩与优化提速
深度学习因其计算复杂和参数冗余,在一些硬件设备上限制了模型的部署,需要借助模型压缩,优化加速,和异构计算来突破瓶颈 模型压缩 量化 量化种类 代表网络 二值化网络 XNORnet / ABCnet with Multiple Binary Bases /Bi-Real Net 三值化网络 Ternary weight networks / Trained Ternary Qua...原创 2019-06-18 18:40:56 · 803 阅读 · 1 评论 -
常用激活函数 及其优缺点
sigmoid σ(x)=1/(1+e−x) σ(x)=1/(1+e^{-x}) σ(x)=1/(1+e−x) 优点 缺点 有很好的解释性 1.会造成梯度弥散2.非零均值 tanh tanh(x)=2σ(2x)−1 tanh(x)=2σ(2x)-1tanh(x)=2σ(2x)−1 优点 缺点 零均值 梯度消失问题 relu relu(x)=max(0,...原创 2019-09-10 00:01:34 · 871 阅读 · 0 评论