机器学习笔记（1）— 基本概念和线性回归

本专栏主要是依据吴恩达老师机器学习的视频内容总结的机器学习笔记。本次主要介绍结机器学习的基础概念，包括机器学习的概念以及有监督和无监督学习的概念，同时简单介绍线性回归。

1.什么是机器学习

计算机从程序经验E中学习，解决某一任务T，进行某一性能的度量P，通过P测定在T上的表现因经验E而提高。简单来说就是从大量的数据学习中，得到一个符合现实的规律模型，通过模型来预测某个数据的结果。

2.什么是监督学习

首先给算法一个包含正确答案的数据集，通过训练来调整目标函数的参数，使用目标函数获得更多的正确答案。监督学习中包括回归问题，即预测连续的输出；还有分类问题，即输出离散的值。

3.什么是无监督学习

根据类别未知的数据集，解决模式识别中的问题。即对数据及进行分类每一方便了解数据集内部的数据结构。典型的例子就是聚类分析，聚类的目的是把相似的数据聚集在一起。

4.线性回归

4.1回归分析

回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。通常使用曲线/线来拟合数据点，目标是使目标函数和数据点之间的距离最小。

4.2线性回归

线性回归是回归分析的一种，假设数据集与特征之间线性相关，满足多元一次方程（以二元函数为例）：

该方程又称为目标函数。
通过代价函数：

来计算目标函数与数据集之间的差异，差异越小越好。其中的1/m代表求均值，1/2是为了方便下一步的梯度下降法求导时添加的常数。