信息论,机器学习
AI无昵称
计算机视觉小虾;
学了好多用不上;
深度学习;
看看电影;
饭后要遛食;
Be strong!
展开
-
L2正则和权值衰减的区别 L2 Regulation vs Weight Decay
对于L2 Regulation 和 Weight Decay,假设原来的损失函数是fff,对于有Weight Decay的参数更新规则如下:θt+1=θt−α∇ft(θt)−λθt,\theta_{t+1}=\theta_{t}-\alpha \nabla f_{t}\left(\theta_{t}\right)-\lambda \theta_{t},θt+1=θt−α∇ft(θt...原创 2020-01-19 20:50:54 · 1127 阅读 · 0 评论 -
检测与姿态估计的评价标准
1. 通用目标检测中AP, mAP指标的定义和计算转载自 点击打开链接 点击打开链接多标签图像分类(Multi-label ImageClassification)任务中图片的标签不止一个,因此评价不能用普通单标签图像分类的标准,即meanaccuracy,该任务采用的是和信息检索中类似的方法—mAP(meanAveragePrecision)。mAP虽然字面意思...原创 2017-12-07 21:37:41 · 9741 阅读 · 4 评论 -
Stochastic Weight Averaging in PyTorch
Stochastic Weight Averaging in PyTorch | PyTorch.pdf具体指导请参见上的的pdf文件SWA为什么有效Figure 1. Illustrations of SWA and SGD with a Preactivation ResNet-164 on CIFAR-100 [1]. Left: test error surface for thr...转载 2019-06-03 10:30:02 · 1206 阅读 · 0 评论 -
L1和L2正则化的理解
摘录自:https://zhuanlan.zhihu.com/p/35356992https://zhuanlan.zhihu.com/p/29360425正则化理解之结构最小化首先给出一个例子解释L1的作用可以使得模型获得稀疏解L1正则使得模型的解稀疏正则化之所以能够降低过拟合的原因在于,正则化是结构风险最小化的一种策略实现。**给loss function加上正则化项,能使得新...原创 2019-05-29 10:54:21 · 319 阅读 · 0 评论 -
L1正则使得模型的解稀疏
下图给出目标函数y=x3+2x−3x3+0.5y=x^{3}+2x-3x^{3}+0.5y=x3+2x−3x3+0.5在添加了L1正则项和L2正则项后解的变化情况L1正则2.5∣x∣L2正则2.5x2L1正则 2.5\left| x \right|\\L2正则 2.5x^{2}L1正则2.5∣x∣L2正则2.5x2可以看到,因为有了L1正则,使得原始代价函数的解变成了现在的0,即...原创 2019-05-27 21:03:57 · 371 阅读 · 0 评论 -
常见的矩阵求导
机器学习中常用的矩阵求导公式 opencv_le 2016-02-25 2191原文链接https://zhuanlan.zhihu.com/p/25063314 或者简洁版 http://www.sohu.com/a/221429567_129720矩阵求导好像读书的时候都没学过,因为讲矩阵的课程上不讲求导,讲求导的课又不提矩阵原创 2016-10-07 09:55:30 · 3796 阅读 · 0 评论 -
LBP, Uniform LBP 等价模式个数的推导
先来简单复习一下一般LPB特征是如何提取的,如下图:3*3尺寸的LBP提取过程1.普通LBP设LBP运算的像素点个数为p, 模式个数即是p个0或者1进行排列的可能数,也就是2^p种2.均匀LPB模式按照定义,考虑LBP特征序列跳变次数小于2的可能数目,分情况讨论:(1)0次跳变,只有两种,即00...0或者111...1(2) 1原创 2016-11-15 17:10:23 · 6105 阅读 · 5 评论 -
mnsit 手写数据集 python3.x的读入 以及利用softmax回归进行数字识别
作为机器学习与深度学习入门,mnsit数据集是必备的入门材料,下面将在python3.x版本上实现softmax回归,源代码出处:https://github.com/hobgreenson/SoftmaxRegression源代码是基于python2.x,与3.x版本会有不同的地方,稍有马虎就不能正常运行,以下代码已经更改到3.x版本主要不同之处,cPickle更改为pickle原创 2016-12-17 14:39:07 · 2961 阅读 · 0 评论 -
CIFAR-10 最近邻分类识别 python3 NearestNeighbor
用到的数据集:http://www.cs.toronto.edu/~kriz/cifar.html,自行下载python版本参考的是斯坦福大学CS231N教程的notes实现程序如下:需要指出的是数据集有些大,如果仅仅用于测试程序对不对这里只选择了1000个图片进行训练。如果真的需要把索引去掉即是完整的训练和测试了import pickle as pimpor原创 2016-12-17 16:23:14 · 2663 阅读 · 1 评论 -
信息论, 熵
转载自:点击打开链接1.概率与信息量为什么是对数关系的原理:http://colah.github.io/posts/2015-09-Visual-Information/2.交叉熵(Cross-Entropy)交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。1.什么是信息量?假设X是一个离散型随机变量,其取值集合为X,概率分布函数...转载 2017-10-13 15:46:07 · 632 阅读 · 0 评论