机器学习
文章平均质量分 57
QEcode
这个作者很懒,什么都没留下…
展开
-
梯度下降与正规方程
梯度下降法梯度下降是一个最优化算法,通俗的来讲也就是沿着梯度下降的方向来求出一个函数的极小值。那么我们在高等数学中学过,对于一些我们了解的函数方程,我们可以对其求一阶导和二阶导,比如说二次函数。可是我们在处理问题的时候遇到的并不都是我们熟悉的函数,并且既然是机器学习就应该让机器自己去学习如何对其进行求解,显然我们需要换一个思路。因此我们采用梯度下降,不断迭代,沿着梯度下降的方向来移动,求出极小值。此转载 2017-11-28 22:28:58 · 1953 阅读 · 0 评论 -
局部加权回归(Locally weighted linear regression)
局部加权回归通常情况下的线性拟合不能很好地预测所有的值,因为它容易导致欠拟合(under fitting),其多数情况下只能适用于线性的曲线而不能很好的拟合非线性的曲线,比如数据集是一个钟形的曲线。而多项式拟合能拟合所有数据,但是在预测新样本的时候又会变得很糟糕,因为它导致数据的过拟合(overfitting),不符合数据真实的模型。 今天来讲一种非参数学习方法,叫做局部加权回归(LWR)。为什原创 2017-11-29 17:39:28 · 4615 阅读 · 0 评论 -
Logistic回归
原文见 http://blog.csdn.net/acdreamers/article/details/27365941Logistic回归为概率型非线性回归模型,是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。通常的问题是,研究某些因素条件下某个结果是否发生,比如医学中根据病人的一些症状来判断它是否患有某种病。 在讲解Logistic回归理论之前,我们先从LR分类器说起。LR分类转载 2017-11-29 20:01:12 · 335 阅读 · 0 评论 -
牛顿法
泰勒公式首先看泰勒公式,对于函数,如果函数平滑且某点存在各阶导数,则可以用一个多项式来描述该点邻域的近似值。公式如下:这里写图片描述牛顿法牛顿法一般用来求解方程的根和求解极值。数值优化算法除了梯度下降法外还有比较常用的一种方法是牛顿法。对于非线性方程,可以用牛顿迭代法进行求解,它收敛速度快。基本思想是:对于非线性函数f(x),根据泰勒公式得到x附近某个点xk展开的多项式可用来近似函数f(x)的值,该转载 2017-11-30 14:03:51 · 271 阅读 · 0 评论 -
K-近邻(kNN)算法
机器学习(一)——K-近邻(KNN)算法 最近在看《机器学习实战》这本书,因为自己本身很想深入的了解机器学习算法,加之想学python,就在朋友的推荐之下选择了这本书进行学习。 一 . K-近邻算法(KNN)概述 最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来,当测试对象的属性和某个训练原创 2017-12-04 21:44:35 · 351 阅读 · 0 评论 -
k-近邻(KNN)算法的应用
KNN约会配对from numpy import *from os import listdirimport operatordef classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = tile(inX, (dataSetSize, 1)) - dataSet sqDif原创 2017-12-05 22:07:12 · 439 阅读 · 0 评论