深度学习算法
石头ape
变优秀
展开
-
神经网络基础
假设有一个图片识别十分类的任务,输入图片的像素点有3072个(32*32*3),那么得分函数矩阵如何求得?只需要一个W权重集合矩阵(10*3072)*像素点矩阵(3072*1)=得分函数矩阵(10*1),通过反向传播逐步优化权重矩阵。 softmax分类器是将得分值转化成概率,把得分函数的任意得分值转化成[0,1],常用的有sigmoid函数。 神经网络的整体架构是输入层,隐藏层,输出层,在每个隐藏层之后都要加上一个非线性变换函数即激活函数,比如sigmoid(当自变量很大或很小时容易出现梯度消失),r原创 2022-01-08 17:46:45 · 442 阅读 · 0 评论 -
深度学习RNN
RNN是基本的序列处理模型,主要应用于自然语言处理。与传统神经网络不同的是,它考虑了之前输入的信息,依赖于神经网络在上一周期所产生的输出。 RNN可以看做是若干个由输入层,记忆单元h,输出层的连接,在每一组的连接上都有一个参数W用于传输上一周期的输出结果。 随着序列的不断推进,前面的隐层将会影响后面的隐层;损失函数也会随着序列的推进而不断积累。 除上述特点之外,标准RNN的还有以下特点: 1、权值共享,图中的W全是相同的,U和V也一样。 2、每一个输入值都只与它本身的那条路线建立权连接,不会和别的原创 2021-12-30 15:25:40 · 659 阅读 · 0 评论 -
深度学习CNN
CNN经常被用于图像识别,语音识别等场景;在图像识别中,它的主要用于特征提取,还可用于关键点定位以此来判断人的各种动作。 与神经网络不同的是,CNN多了卷积层和池化层,卷积层用于提取特征,池化层用于特征浓缩;除此之外,在CNN中也有一个关于“深度”的概念,可以将CNN看成有三维形状(3个通道)的神经网络。 例如输入层输入一个32*32*3(h*w*通道)个像素点的图片,32*32表示图片的像素点,3表示输入图片是彩色3维,即RGB=3,卷积层在提取特征时,首先要设置n个filter用于卷积计算,此时fi原创 2021-12-29 21:50:36 · 1857 阅读 · 0 评论