深度学习
文章平均质量分 94
主要是根据nndl脉络学习
AmosTian
计算机科学与技术在读,记录与分享自己的学习心得。学海无涯,知道的越多不知道的越多。
展开
-
【AI】深度学习——循环神经网络
循环神经网络是一类具有短期记忆能力的神经网络,可以更方便地建模长时间间隔的相关性常用的参数学习可以为BPTT。当输入序列比较长时,其计算时间和空间要求随时间线性增长,可以使用带截断的BPTT,只计算固定时间间隔内的梯度回传LSTM的线性连接和门控机制能有效避免梯度消失问题,也运用于深层前馈网络中,如残差网络和告诉网络,都是引入线性训练非常深的卷积网络。对于循环网络,这种机制也可以运用于非时间维度上RNN还可以轻易扩展为两种更广义的网络模型:递神经网络和图网络原创 2023-10-15 12:30:37 · 487 阅读 · 1 评论 -
【AI】深度学习——前馈神经网络——卷积神经网络
首先介绍了卷积运算及交换性,用互相关与卷积运算的区别在于是否旋转卷积核,卷积运算可以理解为矩阵的多次翻转相乘由于全连接网络参数过多,使用卷积运算可以减少参数数量,池化层可以减少输出特征映射的神经元数量。卷积层输入层与输出层的特征映射是全连接关系,卷积神经网络的整体结构为多个卷积块插入几个池化层,再过全连接网络,得到条件概率,最后代入机器学习模型得到最终输出。卷积神经网络也是通过误差反向传播得到参数,介绍了几种典型的网络:LeNet-5,AlexNet,Inception,残差网络以及非标准卷积原创 2023-10-12 00:11:37 · 590 阅读 · 0 评论 -
【AI】深度学习——前馈神经网络——全连接前馈神经网络
全连接前馈神经网络可以抽象为信息传播公式,其理论依据为通用近似定理,与机器学习结合可以解决分类问题,对交叉熵损失函数使用梯度下降算法求参数矩阵求导在nndl中以分母布局为主,以链式法则为计算依据,但同时也可采用更为高效的计算方法反向传播算法:第l层的误差项可以通过第 l+1 层的误差项计算得到,前向计算每一层净输出和活性值,再反向计算出每一层的误差项,得到本层梯度,用随机梯度下降法来训练参数自动梯度计算反向模式与反向传播算法一致神经网络为非凸优化问题,也会遇到梯度消失问题参数过多,以及无局部不变原创 2023-10-09 17:10:37 · 1048 阅读 · 1 评论 -
【AI】深度学习——人工智能、深度学习与神经网络
表示学习与深度学习:传统机器学习是对经过特征工程抽取后的特征进行运算,而特征工程的作用就是消除语义鸿沟,与深度学习结合的特征抽取也称为表示学习深度学习可以用一系列非线性函数的复合表示深度学习天然是神经网络,介绍了人类大脑机制,与神经元的工作机制,人工神经网络有三种模型(前馈,记忆,图网络),且本身是解决贡献度分配问题介绍了神经网络发展史,以及常用的非线性激活函数,S型(logistic,tanh),ReLU函数(带泄露的ReLU,ELU,Softplus,带参数的ReLU),Swish函数,GELU原创 2023-10-09 16:32:44 · 1551 阅读 · 1 评论