全连接神经网络

1、描述一下梯度和梯度下降的意义。

梯度用来表示目标函数的斜率，即函数在某一点的变化率

梯度下降是一种优化算法，它通过迭代地更新模型参数来最小化目标函数。梯度下降首先计算目标函数在当前参数值处的梯度，然后按照梯度的反方向调整参数值，从而使目标函数值不断减小。通过不断重复这个过程，找到目标函数的局部最小值，即最优解。

2、什么是线性可分和线性不可分？线性不可分转换为线性可分有几种方法？分别是什么方法？

超平面：在n维空间中，n-1维的平面

线性可分是指一个数据集可以使用一个超平面将不同类别的样本完全分开

线性不可分是指在二维或者更高维空间中，不能用超平面将不同类别的样本完全分开

有三种方法将线性不可分转为线性可分：

（1）多项式扩展：将原始特征进行多项式扩展，使得数据更加复杂

（2）核函数：核函数可以将数据映射到更高维的空间

（3）引入人工特征：通过手动添加一些特征

3、sigmoid和tanh激活函数的区别是什么？sigmoid做为网络中间激活层和网络输出层的区别是什么？

区别：sigmoid激活函数的输出范围为(0,1)，它可以将任意实数映射到一个介于0和1之间的值。因此，sigmoid函数通常用于二分类问题中，作为输出层的激活函数，表示某个样本属于正类的概率。

正类：在二分类问题中，正类是指我们希望识别的那个类别。例如，如果我们希望区分垃圾邮件和非垃圾邮件，那么垃圾邮件就是正类，非垃圾邮件就是