2018年01月_simpleGq

01月

原创 5.3 梯度下降实用技巧（学习速率）

5.3 梯度下降中的实用技巧二（学习速率）这一节，我们将讨论学习速率α，参考下图。第一个公示是梯度下降算法的更新规则，我们将学习两点，一是怎样保证梯度下降运行正确，而是怎么选择学习速率α。梯度下降算法的任务是为你寻找参数θ，并且希望它能够最小化你的代价函数，在梯度下降算法运行时，我通常会画出代价函数J（θ）的值，如下图所示，x轴表示的是迭代次数，你可能会得到如下图所示的

2018-01-16 10:57:07 5491

原创 5.2 梯度下降算法实用技巧（特征缩放）

5.2 梯度下降算法中的实用技巧一（特征缩放）这里我们将会介绍一个称为特征缩放 (feature scaling) 的方法。如果我们有一个问题，这个问题有许多的特征，如果你能确保不同的特征都处在相近的范围，我的意思是不同特征的取值处在相近的范围内，这样梯度下降算法就能更快的收敛，具体的说，如果你有一个具有两个特征的问题，x1是房子的面积大小，取值范围在0-2000平方英尺，x2是卧室的

2018-01-16 10:54:16 1760 4

原创 5.1 多元线性回归下的梯度下降

5.1 多元线性回归下的梯度下降在前面我们谈到了多元线性回归，它是一种有多个特征变量的形式，这里我们将讨论如何找到满足这一假设函数的参数，尤其是使用梯度下降方法来解决多特征的线性回归问题。为了更加快速的理解，这里有一个假设函数，如下图所示，并且约定x0=1，该模型的参数是从θ0到θn，你可以将它想像成n + 1维的向量θ，我们的代价函数是从θ0到θn的J，同样不要将J看成一

2018-01-16 10:51:20 395

原创 0 机器学习前言

机器学习coursera分类下的文章，是在学习Andrew Ng的课程时，整理而成。历时两个月，总共80192字，将抽时间将其整理成博客后，分享给像我一样的小白，共同学习，进步。笔记包含了课程11个周的内容，有些句子就是Ng的原话。通过阅读相关笔记，你能够学习到课程几乎所有的内容。博客标题按照课程编排，与课程顺序一致。加油！！！...

2018-01-16 09:56:47 213

原创 5 多变量线性回归

5多变量线性回归这一节我们将介绍一种更加有效的线性回归形式，它适用于多变量、多特征的情况。在我们之前学习过的线性回归中，只有一个单一的特征变量，房子的面积大小，我们希望用这个特征量来预测房子的价格。现在想想一下，我们不止有房子的面积大小，还有卧室的数量、楼层数量、房子的使用年限，这样就给了我们许多信息来预测房子的价格。前面我们已经介绍过，我们会使用x1，x2，x3，x4分别

2018-01-15 22:00:32 845 2

原创 4 向量与矩阵（线性代数复习）

4 矩阵和向量（线性代数复习）4.1 什么是矩阵？什么是向量？这一小节我们将介绍举证和向量的相关知识。矩阵是指由数字组成的矩形阵列，并写在方括号中间。我们还需要知道的另一件事情是矩阵的维度应该是矩阵的行数乘以矩阵的列数。例如图中的第一个矩阵是一个4 X 2矩阵，第二个矩阵是2 X 3矩阵，有时候写法会有些不同，例如写成了R4 X 2，如果你看到R4 X 2或者R2

2018-01-15 21:19:58 16350

原创 3.3 线性回归与梯度下降算法结合

上一节我们介绍了梯度下降算法，这里我们会将梯度下降算法和代价函数相结合，最小化我们的代价函数。下面是关于公示的推导部分（自己推）。让我们看看梯度下降算法是怎么工作的？？？当我们第一次展示梯度下降算法的时候，我们展示过下面这张图，在表面上，不断下降，并且我们知道，根据你的不同的初始化值，你会得到不同的局部最优解。但是事实表明，用于线性回归的代价函数，通常是如下面第二张图这样的。你

2018-01-15 21:14:16 263

原创 3.2 梯度下降

3.2 梯度下降上一小节，我们已经介绍了代价函数J，这一节我们将介绍梯度下降算法，这种算法可以将代价函数最小化，梯度下降是很常用的算法，它不仅被使用在线性回归问题上，实际上它还被用在机器学习的其它许多地方，在后面的其它课程中，我们也将使用这种方法，而不是仅仅使用在这里的代价函数J上。问题简介：有一个代价函数J，也许是一个线性回归函数或者其它函数，我们需要一个算法来最小化J。

2018-01-15 21:04:27 326 2

原创 3.1 代价函数

3.1 代价函数（cost function）代价函数有助于将最可能的线性函数与我们的数据相拟合。在线性回归中，我们有一个这样的数据集，m表示训练集样本数，而我们的假设函数，也就是我们用来进行预测的函数，是图中所示的线性函数形式。接下来，我们引入一些术语，Ɵ0和Ɵ1，这些Ɵi我们将它称作为模型参数，我们要做的就是如何去选择这两个参数。对于不同的Ɵ0和Ɵ1，我们会得到不同

2018-01-15 21:01:50 2399

原创 3 单变量线性回归

这一节我们将学习第一个线性回归算法，你将学习到算法的流程，更加重要的是你将学习到监督学习过程完整的流程。让我们通过一个例子开始，还是前面介绍的房子价格预测的问题。根据不同房子的大小以及售出的价格我们可以画出下面的数据集表示图。假设你有一个朋友，正想售出他的房子，房子的大小是1250平方英尺，你要告诉他房子可以卖多少钱。你应该构建一个模型，从这个数据模型上看，可能是一条直线

2018-01-15 20:58:08 353 1

原创 2 监督学习与非监督学习

2 机器学习算法2.1 监督学习首先给出一个例子来解释什么是监督学习，后面将给出更加正式的定义。假设你想预测房价（无比需要啊。。。。），某个学生从某地收集了数据集，其中一个数据集是这样的。横坐标是房子的面积（平方英尺为单位），纵坐标是房子的价格（单位千美元）。假设你的朋友有个750平方米的房子，想要知道能够卖多少钱。学习算法怎么可以帮助你呢？一种方法是学习算法可以绘制一

2018-01-15 20:50:38 9067

原创 1 什么是机器学习？

机器学习是什么？实际上即使在机器学习的专业人士中，也不存在一个准确的定义，最早的关于机器学习的定义是由Arthur Samuel给出的： "Field of study that fives computers the ability to learn without being explicitly programmed."，翻译过来为："使计算机在没有被明确编程的情况下，仍然能够

2018-01-15 20:12:41 1345 1