2017年11月_wyl1813240346

原创斯坦福大学机器学习笔记——正则化的逻辑回归模型

在上面博客中我们讨论了正则化的线性回归模型，下面我们来讨论一下正则化的逻辑回归模型。前面我们讲述了两种常用于逻辑回归的方法：基于梯度下降法的逻辑回归模型基于高级优化的逻辑回归模型基于梯度下降法的逻辑回归模型：首先我们还是需要先设计加入正则化后的损失函数，与线性回归模型相似，我们只需要在原来逻辑回归损失函数的基础上加入正则化即可，于是，加入正则化后的损失函数为：与线性回归模型相同

2017-11-20 16:27:35 1120

原创斯坦福大学机器学习笔记——过拟合问题以及正则化的解决方法

当我们使用前面博客所讲述的线性回归和逻辑回归时，经常会出现一种过拟合（over-fitting）问题。下面对过拟合下一个定义：过拟合（over-fitting）：所谓的过拟合就是：如果我们有非常多的特征时，通过使用这些特征学习得到的假设可能非常好地适应训练集（代价函数很小，几乎为零），但是可能这种假设不能推广到新的数据（对于新的数据预测的结果不好，也就是我们所说的泛化能力不强）。下面我们从例

2017-11-20 10:34:59 1050

原创局部加权线性回归（内含代码）

在之前的博客中我们已经简单讨论过一些回归的算法，如使用假设和梯度下降法的单变量线性回归和多变量线性回归以及采用正规方程的线性回归，这次我们简单讨论一下局部加权线性回归（Local Weighted Liner Regression）。局部加权回归可以看做正规方程的一种改进，通过上次博客中的代码，我们针对那个数据集会产生一个下图所示的拟合曲线：从上面可以看出，该曲线拟合的效果不是很好，存在

2017-11-17 16:14:41 8557 7

原创斯坦福大学机器学习笔记——逻辑回归、高级优化以及多分类问题

先简单说一下逻辑回归，其实会有很多人误解，会将逻辑回归当成回归算法，其实逻辑回归就是我们所说的分类问题，所谓的逻辑，一般我们说的逻辑就是逻辑0或者逻辑1，所以可以借此理解。但是逻辑回归不仅仅只包括两分类问题，它还包括多分类问题。那么能否使用线性回归的思想解决逻辑回归吗，我们从以下两方面考虑： 1. 假设如下图所示的数据集: 假设使用线性回归来拟合该数据集，当出现一个较大的波动点时（最右侧

2017-11-12 21:40:03 3644 2

原创斯坦福大学机器学习笔记——特征和多项式回归以及正规方程

我们可以举一个例子来引入多项式回归：比如我们之前遇到的房价问题，对于房价的影响我们假设有两个特征，一个是房子的宽度x1x_{1}，另外一个是房子的长度x2x_{2}，这针对房价的估测我们可以建立下面形式的假设： hθ(x)=θ0+θ1x1+θ2x2h_{\theta }(x)=\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2} 但是我们可以换一个角度思

2017-11-05 22:21:54 3285

原创常用的距离测度

1.海明距离定义：在信息编码中，两个合法代码对应位上编码不同的位数称为码距，又称海明距离。计算方法：计算汉明距离的一种方法，就是对两个位串进行异或（xor）运算，并计算出异或运算结果中1的个数。例如110和011这两个位串，对它们进行异或运算，其结果是： 110⊕011=101110⊕011=101异或结果中含有两个1，因此110和011之间的汉明距离就等于2。2.欧式距离

2017-11-16 11:23:12 3662

转载瑞利熵和广义瑞利熵

此内容转载于这篇博客我们首先来看看瑞利商的定义。瑞利商是指这样的函数R(A,x)R(A,x): R(A,x)=xHAxxHxR(A,x) = \frac{x^HAx}{x^Hx}　　　　其中xx为非零向量，而AA为n×nn \times n的Hermitan矩阵。所谓的Hermitan矩阵就是满足共轭转置矩阵和自己相等的矩阵，即AH=AA^H=A。如果我们的矩阵A是实矩阵，则满足AT=AA^T=

2017-11-16 10:34:27 24347 9

原创 SAR变化检测的性能指标（kappa系数）——简化版

原来博客中写过比较复杂的一种计算kappa系数的方法，具体的细节可以看：http://blog.csdn.net/wyl1813240346/article/details/56843409。在这里写一下比较简单的计算kappa系数的方法，并给出计算的代码。对于变化检测来说是一个二分类问题（变化类和非变化类），我们假设图像的总像素为N，参考图像中未改变的像素数量为Nu，改变的像素的数量为Nc。于

2017-11-13 11:02:40 6544 7

wyl1813240346的博客