【深度学习一】深度学习基础

1.深度学习的框架比较

深度学习的主要框架是google的tensorflow和facebook的pytorch。对于tensorflow,自从出了2.0以及keras api之后，对于初学者比较友好，大多数方法都封装好了，比如训练模型，只需要调用fit()方法，十分简便。而pytorch的自定义程度较高，并且与transformers的库配合的比较好，不过实现起来比keras会复杂一些。

2.什么是神经网络

人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

3.常用的激活函数

在构建模型的时候，选择不同的激活函数会对结果产生不同的影响。常见的激活函数有：sigmoid函数、tanh函数、relu(一般用于全连接层)、Softmax(对于长度为 K 的任意实向量，Softmax 可以将其压缩为长度为 K，值在(0，1)范围内，并且向量中元素的总和为 1 的实向量）

4.反向传播算法

BP算法是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。

简单推导（主要基于链式求导法则）：

纸上得来终觉浅，建议大家还是自己推到一遍~