机器学习与算法
易大飞
梦想贵在坚持!
展开
-
EM算法的简介、推导以及C代码实现
EM算法是一个很经典的算法,有人成为上帝算法,可以可以在你不知道样本类别的情况下求出该样本的类别,前提你需要知道样本服从什么分布。平常我们求解最优问题,通常采用最小二乘法,梯度下降法,高斯牛顿法,牛顿法,拟牛顿法,列-马算法等等。但是在使用这些方法之前通常会使用极大似然估计或者拉格朗日乘子法作为前序,同样EM算法也是极大似然估计的后续。极大似然估计是把累乘问题通过对数似然函数转化为累加问题,然后用梯度下降法或者其他算法求解最值问题。拉格朗日乘子法主要是为了解决偏导为0无法求解的问题,通过引入拉格朗日乘子原创 2020-08-09 10:34:41 · 1334 阅读 · 0 评论 -
记录李航 统计学习 一书中SVM章节的例题7.2的求解过程
本文是记录李航《统计学习》一书中SVM章节的例题7.2的求解及推导过程。主要是手写推导的,这里不再重新编辑公式了,就把之前推导过程的A4纸上传了,偷个懒吧。另外虽然书中已有讲解,可能也存在像我这种对细节不太理解的人,看的云里雾里,所以便有了这篇博客的求解过程更加详细的介绍。聪明人请绕行,对这篇博客请不喜勿喷。下面是该书中例题7.2的介绍:下面是我手写的推导及求解过程:至此推导完成,希望对你有帮助。...原创 2020-08-06 09:21:09 · 5104 阅读 · 4 评论 -
逻辑回归的推导及C代码实现
逻辑回归是一种常用的分类算法(注意逻辑回归不是回归哟)学习的时候借鉴了这个资料:https://zhuanlan.zhihu.com/p/74874291很好了的资料感谢作者的分享。原创 2020-07-30 19:32:52 · 624 阅读 · 0 评论 -
直线拟合的三种方法
直线拟合的三种方法:1. 最小二乘法。2.梯度下降法。3. 高斯牛顿法原创 2020-07-26 17:05:16 · 57217 阅读 · 5 评论 -
归一化、标准化、单位化方法的总结
无论传统图像处理,还是深度学习,我们经常会听说存在L1 normalization,L2 normalization,那么这些归一化是什么呢?在统计学习中,归一化的具体作用是归纳归一样本的统计分布性。归一化在0~1之间是统计的概率分布,归一化在-1~+1之间是统计的坐标分布。即该函数在(负无穷,正无穷)的积分为1。下图为pytorch官网normalize的定义和实现方程从公式中可以看出这是一个Lp normalize,p表示1,2,...,n。sigma是一个极小的小数,为了防止分母为原创 2020-07-20 15:19:48 · 14310 阅读 · 1 评论 -
透视变换原理和变换矩阵的python实现
透视变换又叫投影变换,我们常说的仿射变换是透视变换的一个特例。透视变换的目的就是把现实中为直线的物体,在图片上可能呈现为斜线,通过透视变换转换成直线的变换。透视变换矩阵:透视变换矩阵warpMatric,(下图使用的A表示,下面代码该矩阵用warpMatrix表示,A表示8*8的矩阵)透视变换的源点和目标点,矩阵如下:源点矩阵: 目标点矩阵:这是一...原创 2019-06-18 17:14:09 · 15749 阅读 · 5 评论 -
图像的上采样(upsampling)与下采样(subsampled)
参考:http://blog.csdn.net/majinlei121/article/details/46742339http://blog.csdn.net/augusdi/article/details/9028365 缩小图像(或称为下采样(subsampled)或降采样(downsampled))的主要目的有两个:1、使得图像符合显示区域的大小;2、生成原创 2017-11-05 18:34:04 · 148246 阅读 · 1 评论 -
Unconstrained Face Alignment via Cascaded Compositional Learning
针对论文Unconstrained Face Alignment via CascadedCompositional Learning,我做的简要总结。毕竟看来几天才看明白。原创 2017-11-02 15:28:34 · 624 阅读 · 0 评论 -
Occlusion-free Face Alignment: Deep Regression Networks Coupled with De-corrupt AutoEncoders
这篇论文是我总结的,感觉思路还是不错的,目前主流的处理图像方式,或者人脸对齐方式都是使用了深度学习,因为深度学习对于人脸对齐具有很好的效果,并且对于遮挡也会有一定的容忍性。这篇论文是:Occlusion-free Face Alignment: Deep Regression Networks Coupled with De-corruptAutoEncoders。原创 2017-11-13 11:10:06 · 714 阅读 · 4 评论 -
CNN中的采样和池化
之前学习神经网络总是感觉采样就是池化,经过后来的学习发现,其实采样还真是池化。采样层是使用 pooling的相关技术来实现的,目的就是用来降低特征的维度并保留有效信息,一定程度上避免过拟合。但是pooling的目的不仅仅是这些,他的目的是保持旋转、平移、伸缩不变形等。采样有最大值采样,平均值采样,求和区域采样和随机区域采样等。池化也是这样的,比如最大值池化,平均值池化,随机池化,求和区域池原创 2017-11-09 16:15:44 · 9228 阅读 · 0 评论 -
正则化问题
我遇到正则化问题,目前的主要目的是知道正则化的使用目的,有何作用?下面是我摘自百度百科的资料:1. 正则化就是对最小化经验误差函数上加约束,这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。约束有引导作用,在优化误差函数的时候倾向于选择满足约束的梯度减少的方向,使最终的解倾向于符合先验知识(如一般的l-norm先验,表示原问题更可能是比较简单的,这样的优化倾向于产生参数原创 2017-11-09 15:48:07 · 1185 阅读 · 0 评论 -
Mnemonic Descent Method:A recurrent process applied for end-to-end face alignment
关于这篇论文:MnemonicDescent Method:A recurrent process applied for end-to-end face alignment,我做了相关的报告总结,这篇论文主要是CNN和RNN的使用,我想如果熟悉这两个网络的读者,理解这篇文章将会很简单。原创 2017-11-08 20:26:47 · 892 阅读 · 1 评论 -
TensorFlow 中文资源精选,官方网站,安装教程,入门教程,实战项目,学习路径。
转载至:http://www.nanjixiong.com/thread-122211-1-1.htmlAwesome-TensorFlow-ChineseTensorFlow 中文资源全集,学习路径推荐:官方网站,初步了解。安装教程,安装之后跑起来。入门教程,简单的模型学习和运行。实战项目,根据自己的需求进行开发。很多内容下面这个英文项目:Inspir转载 2017-11-07 11:31:43 · 1062 阅读 · 0 评论 -
数据归一化和两种常用的归一化方法
数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。以下是两种常用的归一化方法:一、min-max标准化(Min-Max Normalization)也称为转载 2017-10-28 14:48:17 · 1110 阅读 · 0 评论 -
深度学习的几种常用网络LeNet、AlexNet、GoogLeNet、VGG、ResNet:
很全的介绍,非常喜欢,感谢作者的分享:http://www.cnblogs.com/52machinelearning/p/5821591.html转载 2017-09-25 11:45:36 · 2799 阅读 · 0 评论 -
非极大值抑制(Non-maximum suppression)在物体检测领域的应用
最近在一个项目,需要用到非极大值抑制,找了很长时间没有找到非极大值抑制在物体检测方面的的详细解释,最后只有翻阅相关的代码来理解。一、Nms主要目的 在物体检测非极大值抑制应用十分广泛,主要目的是为了消除多余的框,找到最佳的物体检测的位置。如上图中:虽然几个框都检测到了人脸,但是我不需要这么多的框,我需要找到一个最能表达人脸的框。下图汽车转载 2017-09-06 14:45:18 · 278 阅读 · 0 评论 -
几种Boost算法的比较(Discrete AdaBoost, Real AdaBoost, LogitBoost, Gentle Adaboost)
关于boost算法 boost算法是基于PAC学习理论(probably approximately correct)而建立的一套集成学习算法(ensemble learning)。其根本思想在于通过多个简单的弱分类器,构建出准确率很高的强分类器,PAC学习理论证实了这一方法的可行性。下面关于几种Boost算法的比较,是基于文章《Additive Logistic Regression转载 2017-09-04 20:22:16 · 2442 阅读 · 0 评论