机器学习概念 — 线性感知机、线性回归、单个神经元、多层次神经元

最新推荐文章于 2024-08-28 00:37:07 发布

wohu007

最新推荐文章于 2024-08-28 00:37:07 发布

阅读量1.8k

点赞数

分类专栏： Machine Learning

本文链接：https://blog.csdn.net/wohu1104/article/details/105749877

版权

Machine Learning 专栏收录该内容

29 篇文章 53 订阅

订阅专栏

1. 线性感知机

例如一个房屋价格预测问题。输入 x 是房屋面积大小，输出 y 是房屋的价格。如果要预测价格与面积的关系，最简单的一种模型就是 y 与 x 近似线性相关。
房价与房面积关系

如上图所示，红色圆圈表示真实样本的价格与面积分布，蓝色虚线表示预测线性模型。这种最简单的线性模型被称为线性感知机模型。线性感知机模型的基本结构如下：
线性回归模型

其中， w 为权重系数（ Weights ）， b 为偏移量（ Bias ）。线性感知机模型表征了房屋价格与单一变量（房屋面积）的线性关系。

既然我们认为 x 和 y 满足线性相关关系，那么线性函数： y = wx + b，就是我们的模型函数。其中 y 也可以用 f(x) 来表示。

我们要做的是综合利用所有的训练数据（房屋面积大小 x）求出 y = wx + b 中常数 w 和 b 的值。

在将训练样本的 x 逐个带入后，得出的预测房价 y’ = wx + b 与真实房价 y 整体的差异最小。具体的一个样本的 y 和 y’ 的差异用 (y’-y)来表示。

线性回归！= 直线
线性回归模型是：利用线性函数对一个或多个自变量（x 或 (x1,x2,…xk)）和因变量（y）之间的关系进行拟合的模型。也就是说，线性回归模型构建成功后，这个模型表现为线性函数的形式。

线性函数的定义是：一阶（或更低阶）多项式，或零多项式。当线性函数只有一个自变量时，y = f(x)。

f(x) 的函数形式是：
f(x) = a + bx （a、b 为常数，且 b≠0）—— 一阶多项式
或者 f(x) = c (c 为常数，且 c≠0) —— 零阶多项式
或者 f(x) = 0 —— 零多项式

但如果有多个独立自变量，比如影响房价的还有城市、地理位置、交通分布、周边环境等等因素。因此，y=f(x1,x2,…,xk)的函数形式则是：

f(x1,x2,…,xk)=a+b1x1+b2x2+…+bkxk

也就是说，只有当训练数据集的特征是一维的时候，线性回归模型可以在直角坐标系中展示，其形式是一条直线。

但如果样本特征本身是多维的，则最终的线性模型函数是一个多维空间内的[一阶|零阶|零]多项式。
总结一下：

特征是一维的，线性模型在二维空间构成一条直线；
特征是二维的，线性模型在三维空间中构成一个平面；
若特征是三维的，则最终模型在四维空间中构成一个体，以此类推。

见下图：
线性回归在多维坐标体现

2. 单神经元

单个神经元（ Neuron ）与线性感知机的基本结构非常类似，只是在线性的基础上增加了非线性单元，目的是为了让模型更加复杂。

单神经元

这里的非线性单元指的就是激活函数。这样，线性感知机和非线性单元就构成了单个神经元。

单个神经元描述的是输出与单一变量之间的关系。还是上面的例子，如果房屋价格不仅与房屋面积有关，还和房间数目、地理位置等多个因素有关。这样，输入 x 不再是单一变量，而是由房屋面积、房间数目、地理位置等组成的多维向量。因此，我们就可以使用多个神经元来构建一个更加复杂的模型。

3. 多神经元

多神经元

如上图所示， x1、x2、x3 表示输入元素，[Math Processing Error]◯ 表示神经元。h1、h2、h3 是隐藏层神经元，之所以设置隐藏层神经元是为了分别从不同输入中提取特征，再将这些特征经过输出层神经元 out ，预测房价 g 。每一个隐藏层神经元与每个输入元素都进行连接，这保证了提取信息的完整性。这个模型就是最简单的神经网络模型。

上面隐藏层个数为什么是 3？其实，隐藏层神经元个数不是固定的，可以是 2，也可以是 4，它是个可调参数。更深入地，上面的神经网络模型只有单隐藏层，如果问题比较复杂，训练样本比较多，我们可以使用更多隐藏层，每一隐藏层的神经元个数都可以设置。一般来说，层数越多越深，神经网络模型模型越复杂，学习能力越强。这样的深层神经网络就被称为深度学习模型。

多层次神经元

深度学习模型除了标准的神经网络（ Neural Network ，NN）之外，还包括卷积神经网络（ Convolutional Neural Network ，CNN）、循环神经网络（ Recurrent Neural Network ，RNN）。

卷积和循环神经网络

CNN 多应用于机器视觉、图像处理， RNN 多应用于序列模型、语音处理等。

传统的机器学习算法，例如线性回归、逻辑回归、支持向量机、决策树、随机森林等能够处理很多问题，实际应用也非常广泛。许多数据挖掘竞赛、机器学习算法大赛、Kaggle 等，传统的机器学习算法都有着很优秀的表现。但是，随着互联网的兴起与蓬勃发展，每天都有海量的数据产生，如何从大数据中寻找规律建立准确的模型，深度学习逐渐发挥其优势，呈现出比传统机器学习更强的能力。

本文参考：
https://gitbook.cn/gitchat/column/5b447b698b5d4b11e880d287/topic/5b447df08b5d4b11e880d3e4