AI作业5-深度学习基础

1.人工智能、机器学习、深度学习之间的关系

人工智能包含机器学习。机器学习又包含了深度学习。

2.神经网络与深度学习的关系

神经网络不仅包括深度学习，深度学习一定属于神经网络。

3.“深度学习”和“传统浅层学习”的区别和联系

深度学习出于自身需求主动学习，可以掌握复杂的概念，并且可以在新旧知识之间建立联系。

浅层学习基于外在压力被动学习，只能掌握相对简单的概念，并且知识相互孤立。

4.神经元、人工神经元

生物神经网络的基本组成单位就是神经元。通过神经元接收外界信号，达到一定阈值，触发动作电位，通过突触释放神经递质，可以是兴奋或抑制，影响突触后神经元。通过此实现大脑的计算、记忆、逻辑处理等，进行做出一系列行为等。

人工神经元则是对神经元的模拟，它模拟生物神经网络中来自其他神经元的输入，并且为了模拟生物神经网络中每个神经元对外接收的突触强度不同，所以外界接收的输入乘以一定权重，之后对接收的信号进行累加汇总，通过模拟激活生物神经网络中的动作电位，之后对外释放的新的信号。

5.MP模型

所谓M-P模型，其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。其具有生物神经模型的有一些特点例如：多输入单输出，空间整合，阈值等

6.单层感知机 SLP

单层感知机是机器学习中最为基础的方法之一，也可以认为是一种最为简单的神经网络，其模型结构与逻辑回归是一致的，都是多个输入，乘以权值求和再加上偏置，再经过激活函数得到输出。

7.异或问题 XOR

感知机是线性可分的，能够解决与、或、非问题，对异或却无能为力。但是可以借由多层感知机是如何解决。

8.多层感知机 MLP

多层感知机也叫人工神经网络，是一种由多个神经元组成的神经网络模型，除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，并且层与层之间是全连接的。

9.前馈神经网络 FNN

前馈神经网络可以理解成一种多层感知机，但是它只能向前连接，即从输入层到输出层，无法从输出层到输入层。

10.激活函数 Activation Function

激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。在神经元中，输入的input经过一系列加权求和后作用于另一个函数，这个函数就是这里的激活函数。

11.为什么要使用激活函数？

因为神经网络中每一层的输入输出都是一个线性求和的过程，下一层的输出只是承接了上一层输入函数的线性变换，所以如果没有激活函数，那么无论你构造的神经网络多么复杂，有多少层，最后的输出都是输入的线性组合，纯粹的线性组合并不能够解决更为复杂的问题。而引入激活函数之后，我们会发现常见的激活函数都是非线性的，因此也会给神经元引入非线性元素，使得神经网络可以逼近其他的任何非线性函数，这样可以使得神经网络应用到更多非线性模型中。

12.常用激活函数有哪些？

Sigmoid 激活函数，Tanh/双曲正切激活函数，ReLU激活函数，ELU激活函数

13.均方误差和交叉熵损失函数，哪个适合于分类？哪个适合于回归？为什么？

均方误差损失函数适合于回归问题，交叉熵损失函数适合于分类问题。

对于回归问题，一般来说是需要预测一个连续值(-∞,+∞)；而交叉熵在机器学习任务中通常遇到的场景是标签是离散的，因为如果标签是连续的，无疑会出现积分，计算量大，模型训练时间长。

sigmoid函数 的导数sigmoid’ 在输出接近 0 和 1 的时候是非常小的，故导致在使用均方差时，模型参数w会学习的非常慢。而使用交叉熵则没有这个问题。