AI作业5-深度学习基础

1.人工智能、机器学习、深度学习之间的区别和联系

区别：

机器学习：给算法(而不是你的大脑)输入大量数据，让它把事情弄清楚。它包含了在大数据分析和数据挖掘中会遇到的许多类型的程序。说到底，驱动大多数预测程序(包括垃圾邮件过滤器、产品推荐和欺诈检测器)的“大脑”实际上是机器学习算法。

人工智能：指的是让计算机执行被视为人类独有的任务：需要智力的任务。

深度学习：是机器学习的一种形式，既可以使用监督算法，也可以使用非监督算法，或者两者兼而有之。但是它使用包含更多神经元、层次和互联性的神经网络。

联系：

人工智能是一门像数一样的科学。它研究构建智能程序和机器的方法，这些程序和机器可以创造性地解决问题。

机器学习是人工智能（AI）的一个子集，它为系统提供了从经验中自动学习和改进的能力，而无需显式编程。在ML中，有不同的算法（例如神经网络）可以帮助解决问题。

深度学习是机器学习的一个子集，它使用神经网络来分析具有类似于人类神经系统的结构的不同因素。

2.“神经网络”与“深度学习”的关系

神经网络是深度学习的基础，深度学习是神经网络的一般框架。神经网络包含了大量的超参数和模型权重，这些数据是根据历史数据训练出来的。因此，神经网路是深度学习的有效工具，深度学习可以帮助模型调整参数，以利用大量的历史数据来学习和优化网络模型。

3.“深度学习”和“经典神经网络”有什么区别和联系

区别

深度学习和经典神经网络的主要区别在于网络的深度和抽象程度。经典神经网络通常指的是只有一层或者两层的神经网络模型，而深度学习则指的是具有多个隐藏层的神经网络模型。

相比于经典神经网络，深度学习可以处理更加复杂和抽象的数据，因为在多层神经网络中，每一层可以提取出不同层次的特征，而最后一层可以将这些特征进行组合和分类，从而得到更准确的预测结果。深度学习的关键在于通过多层网络自动学习数据中的高级特征，而不是人为地对特征进行提取和选择。

联系

深度学习可以看作是传统浅层学习的一种拓展和推广，其基本思想和方法都源自于传统的机器学习算法。浅层学习仍然具有一定的实用价值，特别是在数据量较小或者特征较为简单的场景下。深度学习和浅层学习可以相互结合，从而实现更加精准和高效的预测和分类。

4.神经元：神经网络中的基本单元，接收输入信号并产生输出信号。

5.MP模型：麦卡洛克一匹兹模型(McCulloch-Pitts model 简称MP模型，一种早期的神经元网络模型. 由美国心理学家麦卡洛克(McCulloch, W.)和数学家匹兹 <Pitts,W.)于1943年共同提出.设有n个神经元相互连结，每个神经元的状态S;<i=1,2,"',n)取值。或1，分别表示该神经元的抑制和兴奋，每个神经元的状态都受其他神经元的制约， 麦卡洛克一匹兹模型 Q<x)是阶梯函数，B是第i个神经元的阂值，W;;是神经元i与神经元J 之间的连结强度，是可调的实数.学习就是调整w。的过程.MP模型的学习过程是按照赫伯(Hebb, D.)规则进行的，其原则为:若i和.7两个神经元同时处于兴奋状态，则它们之间的连结应加强，否则削弱。

6.单层感知机：是机器学习中最为基础的方法之一，也可以认为是一种最为简单的神经网络，其模型结构与逻辑回归是一致的，都是多个输入，乘以权值求和再加上偏置，再经过激活函数得到输出

 7.异或问题：异或是对两个运算元的一种逻辑分析类型，符号为XOR或EOR或⊕。与一般的或（OR）不同，当两两数值相同时为否，而数值不同时为真。

8.多层感知机：（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构。

9.前馈神经网络：是一种最简单的神经网络，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。是应用最广泛、发展最迅速的人工神经网络之一。

10.激活函数：激活函数（Activation functions）对于人工神经网络 [1]  模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图1，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

11.为什么要用激活函数？

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

12.常用激活函数有哪些？

Sigmoid函数

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间 [2]  。公式如下

 

Tanh函数

Tanh是双曲函数中的一个，Tanh()为双曲正切。在数学中，双曲正切“Tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。公式如下

 

ReLU函数

Relu激活函数（The Rectified Linear Unit），用于隐层神经元输出。公式如下

13. 均方误差和交叉熵损失函数，哪个适合于分类？哪个适合于回归？为什么？

均方误差(MSE)适用于回归任务。MSE的计算方式为预测值与真实值之间的差的平方的平均值，即MSE = (1/n) * Σ(y_pred - y_true)^2。其中，n为样本数量，y_pred为模型预测的值，y_true为真实值。MSE对于异常值比较敏感，但对于正常数据的拟合效果较好，因此适用于回归任务。

交叉熵(CE)适用于分类任务。CE的计算方式为预测概率分布与真实概率分布之间的交叉熵，即CE = -Σ(y_true * log(y_pred))。其中，y_true为真实的类别概率分布，y_pred为模型预测的类别概率分布。CE在分类任务中表现优秀，对于错误的分类结果，损失值也会随之增大，从而促进模型优化。