卷积神经网络中感知机 个人的一些理解

**

感知机是什么？

**

左边的话代表了一个能划分区域的切割方法（可能是线，平面），右面的就是判断，判断，输出一种是否的结果
所以感知机只能处理二分和分类问题

神经网络模仿生物神经系统,由多个感知机组成。感知机是一种多对一的系统,能处理逻辑运算,但不能实现异或运算。
通俗的来讲：感知机就是神经网络中一个个最小单元，类似大脑的神经元

感知机主要由：线性函数和激活函数构成 结构为 标准+判断
另 如果有了升维过程，就成为三部分，最前面的会多一个升维函数。
tips：以前的激活函数为跳跃的二值，类似0 1，现在吴恩达老师讲解中，已经是sigmoid函数，一种平滑连续的函数，这个作用就是在神经网络中分层时，以前只能分为两层，而sigmoid函数让网络模型划分更多层。

感知机优缺点：
优点：给了分类问题一个统一的模板，剩下的就是调参数。（权重，W系数）
缺点：
1 用多个感知机组合，由处理与或非问题进化到了处理异或问题。
2 对于无法处理非线性问题，使用升维方法。
感知机升维通常是指在多层感知机（MLP）中增加隐藏层或增加现有隐藏层的节点数，从而提高模型的复杂度和表达能力。

以下是关于感知机升维的一些详细说明：

1. 增加模型复杂度：通过增加隐藏层或隐藏单元的数量，模型能够捕捉到数据中的更复杂的特征和模式。
2. 提高模型表达能力：更多的隐藏层或单元意味着模型有更多的参数，这使得模型可以表示更复杂的函数，有助于拟合训练数据。
3. 解决非线性问题：单层感知机只能解决线性可分的问题，而多层感知机可以解决非线性问题，因为通过多个层次的非线性激活函数，模型可以学习到数据的非线性特征。
4. 避免过拟合：虽然增加层数可以提高模型复杂度，但同时也要注意避免过拟合。适当的正则化和交叉验证可以帮助找到最佳的网络结构。
5. 计算资源考虑：升维会增加模型的训练时间和所需的计算资源，因此需要在模型性能和计算成本之间做出权衡。
6. 调参复杂性：随着层数的增加，模型的调参也变得更加复杂。需要仔细调整每层的学习率、权重初始化和正则化参数等，以确保模型能够有效学习。
7. 损失函数优化：在训练多层感知机时，通常使用反向传播算法来优化损失函数，这要求模型的每一层都能够正确地传递梯度信息。
8. 特征工程：在某些情况下，通过升维，模型可以自动进行特征工程，发现输入数据中难以观察到的特征。

综上所述，在实际应用中，升维是一种常用的技术来提高模型的性能，尤其是在处理复杂的分类问题时。然而，它也需要结合具体的应用场景和数据特性来进行细致的设计和调整。

个人一些理解：
如果升维，会使模型预测更精准但也更负责，这样的话可能导致过拟。
处理方法可以有交叉验证和正则化。
我们常见的正则化有L1和L2
个人认为类似数学中的泰勒级数，模型是一个从低阶到高阶的展开过程，越高阶意味着模型越复杂，而正则化就是在损失函数中添加惩罚项，控制在低阶过程，让模型不至于太复杂。