Machine Learning 1-线性回归算法分析

AI人工智能时代，机器学习，深度学习作为其核心，本文主要介绍机器学习的基础算法，以详细线介绍

线性回归算法

及其

数学原理

探究，做到知其然知其所以然，打好理论基础。

目录

机器学习及人工智能

机器学习分类

有监督学习

无监督学习

线性回归算法

线性回归

代价函数

数学模型

最小二乘法

算法介绍

数学原理

高斯分布

算法局限性

梯度下降算法

方向导数

梯度

数学原理

单元算法实现

多元算法实现

矩阵迹算法

随机梯度下降算法

高斯-牛顿法

泰勒级数展开

Hesse矩阵

数学原理

算法局限性

总结

1机器学习及人工智能

开门见山，上图简单而直观的表明了人工智能，机器学习，深度学习的关系及区别，人工智能范畴最广，机器学习，深度学习逐步缩小；其实机器学习与深度学习可以看作人工智能的内部模型提炼过程，人工智能则是对外部的智能反应。

人工智能

人工智能（Artificial Intelligence），学术定义为用于研究，模拟及扩展人的智能应用科学；AI在计算机领域研究涉及机器人，语言识别，图像识别，自然语言处理等。AI的研究会横跨多门学科，如计算机，数学，生物，语言，声音，视觉甚至心理学和哲学。

其中AI的核心是做到感知，推断，行动及根据经验值进行调整，即类似人类的智慧体智能学习提升。

深度学习

深度学习则泛指深度神经网络学习，如卷积神经网络（Convolutional Neural Nets，CNN），把普通神经网络从3-4层升华到8-10层从而获取更精准模型，其应用如图像视频识别等。

人工智能，神经网络并非什么新鲜事物，早在20-30年前就已经诞生，而深度学习则借助因互联网而诞生的大数据，及近些年发展的强大运算能力（图形处理GPU）而大放光彩，甚至推动引爆了新一代的人工智能。

机器学习

机器学习的学究的定义为“计算机程序如何随着经验积累自动提高性能”，经典英文定义为

“A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.”，即“对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E学习”， 通俗点说既是让机器来模拟人类来学习新的知识与技能，重点是不是通过某精妙算法而达成，而是让程序去通过学习发现提高，举一反三， 正所谓授之以鱼不如授之以渔。

2 机器学习分类

机器学习在学习的方法广义上分为有监督学习与无监督学习。

有监督学习（Supervised Learning）

监督学习，通常对具有标记分类的训练样本特征进行学习，标记即已经知道其对应正确分类答案；而学习则本质是找到特征与标签（正确答案）之间的关系（函数），从而当训练结束，输入无标签的数据时，可以利用已经找出的关系方法进行分析得出数据标签。

监督学习类似我们在学校的学习，通常的题目都会有“正确答案”，以便于我们每学期学习结束（训练），参加未知的考试作为检验。

上图为监督学习的模型及流程:

获取数据并确定所处理数据类型

确定并提取训练数据集的特征（feature）

选择机器学习方法如向量机或决策树

获取最终机器模型

对机器学习模型进行评估

监督学习方法及用途

常用的监督机器学习方法有如人工神经网络，决策树，传统贝叶斯分类器，支撑向量机（SVM）等。

监督学习的主要用途通常用来进行样本分类与回归（找到最为接近的函数用于预测），而又根据其输出结果连续还是离散分为回归分析（Regression）与分类（Classification）。

无监督学习（Unsupervised Learning）

反之，无监督学习则通常学习数据只有特征向量，没有标签（答案），学习模型通过学习特征向量发现其内部规律与性质，从而把数据分组聚类（Clustering）。

无监督学习更类似我们的真实世界，去探索发现一些规律及分类。

举个例子，如果把监督学习看作未成年时在家长及老师的“监督”下做告知正确的事，则无监督学习就是成年后踏入社会，自己去探索，发现，适应社会了。

无监督学习方法及用途

常用的无监督学习方法有： K-Means， 层次化聚类（Hierarchical Clustering），社交网络分析，一些数据挖掘算法等。

无监督学习的用途则主要用来在未知（无标签）数据中发现相似或者隐藏结构并进行聚类（Clustering），或者发现数据对应输入空间的分布之密度估计等。

当然对于数据样本介于无标记及部分标记之间，这种机器学习则被称为半监督学习（semi-supervised learning），我们暂不介绍。

3线性回归算法

上文提到了一些常用的机器学习算法，我们来看一下学习算法的概览分类图：

总体来说，机器学习中的回归算法的本质是通过对样本数据的收集，给出假设的函数模型，而此函数包含未知参数，机器学习的过程就是解方程或者找到最优解，当验证通过后，从而可以用该函数去预测测试新数据。

线性回归

回归，统计学术语，表示变量之间的某种数量依存关系，并由此引出回归方程，回归系数。

线性回归（Linear Regression），数理统计中回归分析，用来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，其表达形式为y = w'x+e，e为误差服从均值为0的正态分布，其中只有一个自变量的情况称为简单回归，多个自变量的情况叫多元回归。