本文介绍了神经网络的基础知识，包括神经元、激活函数、层的构成以及前向计算。详细阐述了训练过程中的目标——损失函数最小化，以及梯度下降法、反向传播和不同的梯度下降优化策略，如随机梯度下降和 mini-batch 梯度下降。此外，还提及了词向量模型 Word2Vec 和几种循环神经网络（RNN、GRU、LSTM 及双向 RNN），以及卷积神经网络（CNN）在处理序列和图像数据上的应用。
【神经网络的构成】
神经元 激活函数 层
feedforward computation前向计算：从输入开始依次计算每一层的结果。
隐层：在输入之上添加的多层通常被称为隐层。
激活函数：非线性的激活函数，拟合非线性关系，进行非线性变换。
叠加若干隐层，提升网络的表达能力。
输出层：来得到结果。线性输出层，用来解决回归问题。sigmoid输出层，将结果压到0-1之内，用来解决二分类问题。softmax输出层，用来解决多分类问题。
【如何训练】
目标：均方差越小，模型越好。Mean Squared Error。每个预测值和真实值差的平方和再求平均。将均方差定义为损失函数，也就是所谓的loss。训练的目标就是去减小这个损失函数的值。
如果是分类任务呢，目标就是最小化交叉熵Cross-entropy.
如何使损失函数最小化，采用梯度下降法，把整个优化过程拆分成一个个步骤，每一步，缩小损失函数一点点。如何调整参数，才能使损失函数逐步变小呢。这需要去求损失函数对于模型参数的梯度，梯度代表了对这个参数进行单位大小的改动，然后损失函数它变化最快的方向。我们就顺着这个方向去对模型参数做一个小的改动，就可以降低
订阅专栏 解锁全文
扫一扫
437
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
