AI作业5-深度学习基础

1.人工智能、机器学习、深度学习之间的区别和联系

人工智能是一种美好的目标，它希望用计算机来模拟人类的思维方式。

机器学习是实现人工智能的主要途径，也是人工智能的核心，它有很多模型（算法）可以选择。

深度学习是机器学习的一个重要分支，它使用了一些更加通用和智能的模型，是比较前沿的学术课题。深度学习需要更多的数据和算力作为支撑，否则难以发挥其优势。

2.“神经网络”与“深度学习”的关系

深度学习可以理解成用深度神经网络

3.“深度学习”和“经典神经网络”有什么区别和联系

二者的相同在于deep learning采用了神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic regression模型；这种分层结构，是比较接近人类大脑的结构的。

4.神经元

神经网络中的基本单位

5.MP模型

按照生物神经元，我们建立M-P模型。为了使得建模更加简单，以便于进行形式化表达，我们忽略时间整合作用、不应期等复杂因素，并把神经元的突触时延和强度当成常数。下图就是一个M-P模型的示意图。

 

6.单层感知机

单层感知机和多层感知机是最基础的神经网络结构。将卷积操作创新的加入到神经网络结构形成了卷积神经网络，卷积神经网络给现代人工智能注入了活力。感知机网络和卷积网络(CNN)都属于前馈型网络。

单层感知机是二分类的线性分类模型，输入是被感知数据集的特征向量，输出时数据集的类别{+1,-1}。单层感知机的函数近似非常有限，其决策边界必须是一个超平面，严格要求数据是线性可分的。支持向量机，用核函数修正了感知器的不足，将特征向量有效的映射到更高维的空间使得样本成为线性可分的数据集。

7.异或问题

如果a、b两个值不相同，则异或结果为1。如果a、b两个值相同，异或结果为0

8.多层感知机

多层感知机由感知机推广而来。它最主要的特点是有多个神经元层，因此也叫深度神经网络。

感知机是单个神经元模型，是较大神经网络的前身。神经网络的强大之处在于它们能够学习训练数据中的表示，以及如何将其与想要预测的输出变量联系起来。从数学上讲，它们能够学习任何映射函数，并且已经被证明是一种通用的近似算法。

神经网络的预测能力来自网络的分层或多层结构。而多层感知机是指具有至少三层节点，输入层，一些中间层和输出层的神经网络。给定层中的每个节点都连接到相邻层中的每个节点。输入层接收数据，中间层计算数据，输出层输出结果。

9.前馈神经网络

前馈神经网络，是一种最简单的神经网络，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。是应用最广泛、发展最迅速的人工神经网络之一。研究从20世纪60年代开始，理论研究和实际应用达到了很高的水平

10.激活函数的概念

激活函数是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。在神经元中，输入的input经过一系列加权求和后作用于另一个函数，这个函数就是这里的激活函数

11.为什么使用激活函数

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

12.常用激活函数有哪些

Sigmoid函数

Tanh/双曲正切激活函数

ReLU激活函数

Leaky ReLU

13.均分误差和交叉熵损失函数，哪个适用于分类？哪个适用于回归？为什么？

1. 均方差损失函数（MSE） 简单来说，均方误差的含义是求一个batch中n个样本的n个输出与期望输出的差的平方的平均值、

2. Cross-entropy（交叉熵损失函数) 交叉熵是用来评估当前训练得到的概率分布与真实分布的差异情况。 它刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。