2017年06月_尚书左仆射

06月 05月 03月 02月 01月

原创 Logistic回归中梯度上升算法的数学原理

logistic回归这部分相信那些实现代码并不难以理解，难以理解的是为什么可以这样来实现这个算法，它背后的数学支撑究竟是怎样的。关于这个问题，我们将在下文中进行探索。Logistic本质上是一个基于条件概率的判别模型(Discriminative Model)。利用了Sigmoid函数值域在[0,1]这个特性。使用Sigmoid进行二分类操作时，当函数值大于0.5，我们将对应的

2017-06-24 15:22:06 1520 1

转载最大似然估计

最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的

2017-06-22 21:33:35 496

原创机器学习——logistic回归

何为回归？假设有一系列数据点，我们使用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称为回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，并以此进行分类。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。Logistic回归的一般过程如下。(1)收集数据(2)准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另

2017-06-22 16:07:24 436

原创 Windows下TypeError numpy.float64 object cannot be interpreted as an index的解决

在进行numpy-1.12.1操作的时候遇到了一个很郁闷的问题，在使用如下代码时，总是会产生一个这样的错误：TypeError numpy.float64 object cannot be interpreted as anindex。尝试了各种类型转换的方法都以无效而告终，我甚至一度怀疑我是不是装了一个假NumPy。出错代码主要部分：weights = ones(n) #m，n是

2017-06-21 20:01:21 9666 2

原创机器学习——朴素贝叶斯算法

概率论是许多机器学习算法的基础，朴素贝叶斯就是基于概率来进行分类的方法。18世纪的一位神学家托马斯·贝叶斯率先引入先验知识和逻辑推理来处理不确定命题。贝叶斯准则告诉我们如何较好条件概率中的条件与结果，即如果已知，要求，那么可以使用下面的方法：即有，使用贝叶斯准则，可以通过已知的三个概率来计算未知的概率值。朴素贝叶斯的一般执行过程如下：(1)收集数据(2)准备数据

2017-06-15 11:29:42 550

原创机器学习——决策树算法

决策树的主要任务就是探寻数据中所蕴含的知识信息。所以决策树可以使用不熟悉的数据集，并从中提取出一系列规则，而这些规则的提炼过程就是机器学习的过程。在构造决策树时必须要面对的问题是：当前我们究竟该选哪个特征来进行数据的分类。为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。完成测试之后，原始数据集就被划分为几个数据子集。这些数据子集会分布在第一个决策点的所有分支上。如果分支下的数

2017-06-03 20:46:12 427