11. 机器学习
文章平均质量分 75
玄苦大师233
机会往往是长期准备和酝酿的而不能只靠一时的主动与激情所以认真写好技术博客吧
新博客 =》https://chenguolin.github.io/
展开
-
机器学习-入门介绍
一. 背景在机器学习中,有2个很大的思路监督学习(supervised learning)和非监督学习(unsupervised learning)监督学习,用通俗的话来说就是你知道问题的答案,需要计算机给出一个更标准的答案。非监督学习,用通俗的话来说就是物以类聚,人以群分。我们拿到了很多数据,但是不知道问题的答案,希望计算机给我们提供思路。在生产环境中,往往采用混合模式。比如图片搜索,如何原创 2016-07-28 23:53:10 · 950 阅读 · 0 评论 -
机器学习-监督学习-cost function
1.引言当我们的训练集如下图1所示,可以假设hypothesis函数如图2θ0和θ1我们称为hθ(x)函数的2个参数,h是x的函数,所以有时候也记着h(x)对于这个已有的hypothesis,我们需要什么方法来评估这个假设函数的好坏呢?因此我们定义了一个叫"代价函数"cost function 来评估当前hθ(x)函数2. 代价函数cost function也叫作loss function,就是对原创 2016-07-30 00:15:47 · 4846 阅读 · 0 评论 -
机器学习-回归模型-欠拟合和过拟合
1. 什么是欠拟合和过拟合先看三张图片,这三张图片是线性回归模型 拟合的函数和训练集的关系第一张图片拟合的函数和训练集误差较大,我们称这种情况为 欠拟合第二张图片拟合的函数和训练集误差较小,我们称这种情况为 合适拟合第三张图片拟合的函数完美的匹配训练集数据,我们称这种情况为 过拟合 类似的,对于逻辑回归同样也存在欠拟合和过拟合问题,如下三张图 2. 如何解决欠拟合和过拟合问题欠拟合问题,根本的原创 2016-09-02 00:15:24 · 12230 阅读 · 3 评论 -
机器学习-线性回归-正规方程
1. 正规方程前面几篇文章里面我们介绍了求解线性回归模型第一个算法 梯度下降算法,梯度下降算法最核心的是找到一个学习速率α,通过不断的迭代最终找到θ0 ... θn, 使得J(θ)值最小。今天我们要介绍一个解决线性回归模型新的算法 正规方程 对于函数f(x) = ax^2 + bx + c 而言,要求其最小值,是对其求导数并且设置导数值为0.我们知道,多维特征变量的线性回归模型中,代价函数表达式,原创 2016-08-10 00:14:30 · 3244 阅读 · 3 评论 -
机器学习-逻辑回归-代价函数
1. 引言回到线性回归模型中,训练集和代价函数如下图如果我们还用J(θ)函数做为逻辑回归模型的代价函数,用H(x) = g(θ^T * x),曲线如下图所示发现J(θ)的曲线图是"非凸函数",存在多个局部最小值,不利于我们求解全局最小值因此,上述的代价函数对于逻辑回归是不可行的,我们需要其他形式的代价函数来保证逻辑回归的代价函数是凸函数。2. 代价函数这里我们先对线性回归模型中的代价函数J(θ)进原创 2016-08-24 23:33:27 · 9101 阅读 · 1 评论 -
机器学习-逻辑回归-分类
1. 逻辑回归监督学习中另一个问题为分类问题,常见的分类问题例子有邮件是否是垃圾邮件,0表示垃圾邮件,1表示正常邮件在线交易是否会欺骗用户,0表示会欺骗,1表示不会患肿瘤患者是良性还是恶性,0表示恶性,1表示良性这些问题,可以归之于二分类问题,y表示因变量,可以定义如下其中0表示负例,1表示正例 同理,对于多分类问题来说,因变量y的值可以取{0,1,2,3 ... n}我们先从二分类问题入手,理解原创 2016-08-22 00:14:28 · 1048 阅读 · 0 评论 -
机器学习-线性回归-多维度特征变量
1. 假设函数之前的几篇文章里面,我们都只是介绍了单维特征变量的线性回归模型,比如预测房价的时候,我们只用了房子的面积这个维度。接下来我们会去研究多个维度的线性回归模型还是从预测房价这个例子入手,假设我们现在不只是单纯的考虑房子的面积,还考虑了卧室的数量、楼层、房子年限等三个维数由于特征向量x的维度是多维,因此我们的表示发生了一些变化,如下图因此,多个维度特征变量的线性回归的假设函数可定义为还是假原创 2016-08-04 23:32:46 · 5895 阅读 · 0 评论 -
机器学习-梯度下降算法
1.引言虽然我们知道,代价函数Jθ的表达式,但是还不知道怎么去确定假设函数hθ(x)的所有参数θ0,θ1 ... θn,使得Jθ值最小。我们还是假设hθ(x)是一个线性函数,并且只有2个参数θ0,θ1,对应特征向量x只有1维我们的目标是使得J(θ0,θ1)最小我们可以采用以下方法,尝试找到J(θ0,θ1)最小值给θ0, θ1一个初始值,例如都等于0不断改变θ0, θ1的值,并且满足J(θ0,θ1)原创 2016-07-31 22:23:39 · 10701 阅读 · 2 评论 -
机器学习-监督学习-线性回归
一.引言机器学习中的回归问题属于有监督学习的范畴,回归问题的目标是给定D维输入变量x,并且每一个输入矢量x都有对应的值y,要求对于新来的数据预测它对应的连续的目标值t。比如下面这个例子:假设我们有一个包含47个房子的面积和价格的数据集如下:我们可以在Matlab中画出来这组数据集,如下:看到画出来的点,是不是有点像一条曲线?我们可以用一条曲线去尽量拟合这些数据点,那么对于新来的输入,我原创 2016-07-28 23:54:33 · 1329 阅读 · 0 评论 -
机器学习-梯度下降算法-特征缩放和学习速率选取
1. 特征缩放实际当我们在计算线性回归模型的时候,会发现特征变量x,不同维度之间的取值范围差异很大。这就造成了我们在使用梯度下降算法的时候,由于维度之间的差异使得Jθ的值收敛的很慢。我们还是以房价预测为例子,我们使用2个特征。房子的尺寸(1~2000),房间的数量(1-5)。以这两个参数为横纵坐标,绘制代价函数的等高线图能看出整个图显得很扁,假如红色的轨迹即为函数收敛的过程,会发现此时函数收敛的非原创 2016-08-06 21:04:58 · 10874 阅读 · 1 评论