机器学习week 1

introduction

1.什么是机器学习？

两种定义：

（1）Arthur Samuel described it as: "the field of study that gives computers theability to learn without being explicitly programmed." This is an older,informal definition.

（2）Tom Mitchell provides a more modern definition: "A computer program is saidto learn from experience E with respect to some class of tasks T andperformance measure P, if its performance at tasks in T, as measured by P,improves with experience E."

 

2.监督学习

监督学习中，我们给定一个数据集，并且数据集中的每一个输入对应的准确输出都已知，监督学习就是寻找输入与输出的关系。

监督学习被分为两种：

回归（regression）：连续的输出

分类（classification）：离散的输出（是/否）

Example:Given data about the size of houses on the real estatemarket, try to predict their price. Price as a function of size is a continuous output, so this is a regression problem.

We could turn this exampleinto a classification problem by instead making our output about whether thehouse "sells for more or less than the asking price." Here we areclassifying the houses based on price into two discrete categories.

3.无监督学习

无监督学习中，已知大量的数据集，但是并不知道一个输入对应的正确输出结果，无监督学习就是从这些大量数据中发现数据的规律或结构。

例如，基于某种变量将大量数据进行聚类。

Example:

Clustering: Take a collection of 1000 essays written on the USEconomy, and find a way to automatically group these essays into a small numberthat are somehow similar or related by different variables, such as wordfrequency, sentence length, page count, and so on

4.单变量的线性回归

Linear regressionwith one variable is also known as "univariate linear regression."

单变量线性回归被用于当你想要从单输入中预测单输出时。并且我们已经知道输入与对应的输出。

 

5.假设函数（the hypothesis function）

我们的假设函数一般形式是

 

6.代价函数

平方误差函数或均方误差

 

7.梯度下降

在有了代价函数后，我们需要一种方法来衡量它的准确度，现在我们要做的就是寻找一种方法自动的改进假设函数。

Repeat untilconvergence：

 

 

Linear AlgebraReview

线性变量知识回顾

• 矩阵和矢量

矩阵是一个二维阵列，由行与列组成。矢量是矩阵的特殊情况，一列多行，矢量是矩阵的子集。

• 加法与标量乘法

加法和减法都是元素一一对应的，所以两个矩阵的维数必须一样。矩阵与标量的乘法中，矩阵的每一个元素都乘以标量值。

• 矩阵与矢量/矩阵的乘法

矩阵乘法要求前一个矩阵的列与后一个矩阵的行数相同。

• 矩阵乘法的特性

          （1）无交换律 （2）结合律（3）任何矩阵乘以同维度的单位对角矩阵identitymatrix都等于其本身。

• 矩阵的逆与转置

 

 

Model and Cost Function

模型表示

Example：housing price

监督学习：数据中的每一个数据样值都给定一个“正确答案”：（1）回归问题，实数值输出；（2）分类问题，离散值输出。

符号定义：

               m——训练样本的数量

                 x——输入标量/特征

                 y——输出变量/目标变量

     （x,y）——一个训练数据

（x(i),y(i)）——第i个训练数据

• 已知训练集，我们希望通过一个学习算法得到一个假设函数h，对于每一个输入房子的大小x，都会估计一个价格y，这里的h可以看成是从x到y的一个映射。
• 在学习之初，为了简便，我们先使用一个线性单变量函数来表示h，随着课程的推进，所使用的模型也会越来越复杂。

代价函数

给定数据集，求出theta0和theta1，就可以得到假设函数h（hypothesis）

代价函数定义：

注：在整个样本中，估计出的假设函数对于每一个x都有一个估计值，所有估计值与样本中x对应的y值的差的平方和。s

梯度下降法：

假如代价函数是一个开口向上的抛物线（先从最简单的开始，只有一个参数theta0）

（1）当初始theta0在最小代价函数的右边时，求得的偏导数为正值，所以应该减小此时的theta0值以使其更加接近代价函数最小时所对应的theta0值。

（2）当初始theta0在最小代价函数的左边时，求得的偏导数为负值，所以应该增加此时的theta0值以使其更加接近代价函数最小时所对应的theta0值。

学习率alpha代表每一次接近最小代价函数值对应的theta0的step大小，如果alpha固定，那么每一次接近theta0的step将逐渐减小，因此不需要减小alpha来减小接近theta0的step。