机器学习简介之基础理论- 线性回归、逻辑回归、神经网络

http://blog.itpub.net/29829936/viewspace-2640084/

 

本文主要介绍一些机器学习的基础概念和推导过程，并基于这些基础概念，快速地了解当下最热技术AI的核心基础-神经网络

主要分为三大部分：线性回归，逻辑回归，神经网络。

首先看下机器学习的定义及常用的分类：

 

 

 

 

 

 

 

 

我们从一元线性回归这个基础领域切入

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

这样一元线性回归的问题到此结束，我们延伸到多元的场景下继续

 

 

 

 

 

 

 

 

之前提到了多项式回归基本可以拟合任何复杂的曲线，这样理论上我们已经解决了大部分预测问题。

然而现实中我们面临更多的分类问题，对给定样本，推断其类别，那么用线性回归显然不适合的。

由此引出逻辑回归，从统计学和概率论给出答案。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

我们解决了to be or not to be这个二元的分类问题，那么如果面临的是多元分类问题，我们该如何解决呢？

 

 

 

 

 

 

 

 

 

---

以下是神经网络部分，主要讲解了当下最火的深度学习的理论基石，神经网络这种古老的技术是如何在当下发挥重要作用的。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

因此我们说神经网络有自学习的功能，可以学习出来我们无法直接表述的隐性特征，而这些特征正是机器可以模拟人类来认知世界的方式。

我们再回过头来看之前用逻辑回归解决多元分类的问题，神经网络给出了更优雅的答案。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

以上主要讲述了机器学习中监督学习理论中的主要枝干部分。

无监督学习也可以为我们提供很多解决问题的方案。