2015年04月_Liu_LongPo

12月 11月 08月 07月 06月 05月 04月 03月 02月 01月

原创机器学习算法原理与实践（三）、卡尔曼滤波器算法浅析及matlab实战

卡尔曼滤波器是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。而且由于观测包含系统的噪声和干扰的影响，所以最优估计也可看做是滤波过程。卡尔曼滤波器的核心内容就是5条公式，计算简单快速，适合用于少量数据的预测和估计。下面我们用一个例子来说明一下卡尔曼算法的应用。假设我们想在有一辆小车，在 t 时刻其速度为 Vt ，位置坐标为 Pt，ut 表示 t 时刻的加速度，那么我

2015-04-29 18:22:25 25077 15

原创机器学习实战ByMatlab（五）Logistic Regression

什么叫做回归呢？举个例子，我们现在有一些数据点，然后我们打算用一条直线来对这些点进行拟合（该曲线称为最佳拟合曲线），这个拟合过程就被称为回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的”回归“一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的嘴阀就是寻找最佳拟合曲线，使用的是最优化算法。基于Logistic回归和Sigmo

2015-04-18 16:40:44 15224 37

原创机器学习实战ByMatlab（四）二分K-means算法

前面我们在是实现K-means算法的时候，提到了它本身存在的缺陷： 1.可能收敛到局部最小值 2.在大规模数据集上收敛较慢对于上一篇博文最后说的，当陷入局部最小值的时候，处理方法就是多运行几次K-means算法，然后选择畸变函数J较小的作为最佳聚类结果。这样的说法显然不能让我们接受，我们追求的应该是一次就能给出接近最优的聚类结果。其实K-means的缺点的根本原因就是：对K个质心的初始选

2015-04-17 13:44:00 11467 25

原创机器学习实战ByMatlab（三）K-means算法

K-means算法属于无监督学习聚类算法，其计算步骤还是挺简单的，思想也挺容易理解，而且还可以在思想中体会到EM算法的思想。K-means 算法的优缺点： 1.优点：容易实现 2.缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢使用数据类型：数值型数据以往的回归算法、朴素贝叶斯、SVM等都是有类别标签y的，因此属于有监督学习，而K-means聚类算法只有x，没有y在聚类问题中，我们的

2015-04-17 13:31:53 9380 5

原创机器学习实战ByMatlab（二）PCA算法

PCA 算法也叫主成分分析（principal components analysis），主要是用于数据降维的。为什么要进行数据降维？因为实际情况中我们的训练数据会存在特征过多或者是特征累赘的问题，比如：一个关于汽车的样本数据，一个特征是”km/h的最大速度特征“，另一个是”英里每小时“的最大速度特征，很显然这两个特征具有很强的相关性拿到一个样本，特征非常多，样本缺很少，这样的数据用回归去你和将

2015-04-15 21:58:35 7281

转载深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候，只知道直接应用两个方法，但是却不

2015-04-15 16:57:54 3798