深度学习
文章平均质量分 77
Mr终游
好好吃饭,好好睡觉,好好生活
展开
-
循环神经网络六-Pytorch中的序列化器
以sigmoid为例,在反向传播的过程中,在值为0,1的时候,梯度接近0,导致参数被更新的幅度很小,训练速度很漫,但是如果对数据进行归一化处理,将数据压缩在[0-1]之间,从而让参数更新的幅度变大,提高训练速度。这是一个有序的容器,其中传入的是构造器类(各种用来处理输入数据的类),最终输入数据会被sequential中的构造类依次执行。翻译成中文就是批量规范化,就是在每个样本训练的过程中,对参数进行归一化处理,从而达到加快训练速度的效果。3.可理解为训练后的模型是多个模型组合之后的结果,类似随机森林。原创 2024-08-09 22:05:40 · 561 阅读 · 0 评论 -
循环神经网络五-使用LSTM完成文本情感分类
2.构建dataset的过程,将数据转化为2分类,前面是十分类。pos类为1,neg为0,因为25000个要本做十分类数据量太小了。在前面使用word embedding去实现了文本情感分类。那么现在在这个模型中添加上LSTM层,为了达到更好的效果,做一下修改。3.在实例化LSTM的时候,使用dropout=0.5,在模型评估过程中,dropout自动会为0。二.完成训练和测试代码。原创 2024-08-09 21:29:32 · 304 阅读 · 0 评论 -
循环神经网络四-LSTM和GRU的使用
LSTM和GRU都是由torch.nn提供其中:1.input_size:输入数据的形状,即embedding_dim2.hidden_size:隐藏神经元的数量,即每一层由多少个LSTM单元3.num_layer:即RNN中LSTM的数量4.batch_first:默认为False,输入数据需要,如果为True,则为5.dropout:dropout的比例,默认为0,dropout是一种训练过程中让部分参数随机失活的一种方式,能够提高训练速度,同时能解决过拟合的问题。原创 2024-08-09 18:35:51 · 398 阅读 · 0 评论 -
循环神经网络三
假如现在有一个文本预测,比如天上的云朵漂浮在__,通过间隔不愿的位置可以预测到答案是天上。但是对于有些句子,答案可能在很远的位置,间隔非常大,随着间隔的增大对于RNN来说,效果就不怎么好了。而LSTM(Long Short-Term Memory)可以解决这个问题,LSTM是RNN的一种特殊类型,可以长期依赖信息,而RNN只能短期的依赖。其中x表示相乘,+表示相加,表示使用某个函数。原创 2024-08-09 14:25:18 · 1107 阅读 · 0 评论 -
循环神经网络和自然语言处理二-文本情感分类
该函数的输出就是对dataloader进行遍历, 取出一个batch的数据.原创 2024-08-08 19:59:10 · 1302 阅读 · 0 评论 -
循环神经网络和自然语言处理一
比如一个文本中有10000个字词,如果使用one-hot编码,那么生成的矩阵就是10000*10000的大小,而且每个字词的代表向量基本是用0组成的。前面我们说句子可以分为单个字或者词,但是有些时候我们要用到三个字,四个字,五个字等等这些词语来表示,而N-gram就是用来将句子分为一组一组的词语,N表示能够被一起使用的字或者词的数量。对于中文我们可用把句子分为词语或者字,比如我爱那个姑娘,可以分为[我,爱,那个,姑娘],或者[我,爱,那,个,姑,娘]原创 2024-08-07 22:20:11 · 625 阅读 · 0 评论 -
Pytorch手写数字识别
3.torch中提供了一个获取最大值的方法torch.max,里面传入数据和一个参数keepdim,=0表示每列最大值,1表示每行最大值,输出返回最大值以及对应的索引值。规范化处理,给定均值mean,shape,图片的通道数相同(指每个通道的均值相同),方差:std,和图片的通道数相同(指的是每个通道的方差),那么就对Tensor规范化处理。上面代码中平均值和方差需要自己计算,去对应的平均值和方差就可用了,比如平均值是所有的平均值,那么方差也要所有数的方差,如果是一列的那么都是一列的。原创 2024-08-07 13:23:50 · 850 阅读 · 0 评论 -
Pytorch基础模型,数据加载,优化算法
相当于每次在进行参数更新的时候,都会将之前的速度考虑进来,每个参数在各方向上的移动幅度不仅取决于当前的梯度,还取决于过去各个梯度在各个方向上是否一致,如果一个梯度一直沿着当前方向进行更新,那么每次更新的幅度就越来越大,如果一个梯度在一个方向上不断变化,那么其更新幅度就会被衰减,这样我们就可以使用一个较大的学习率,使得收敛更快,同时梯度比较大的方向就会因为动量的关系每次更新的幅度减少。随机梯度下降:为了改善训练熟读过慢的问题·,从样本中随机抽出一组,训练后按梯度更新一次,然后在抽一组,在更新一次,如此反复。原创 2024-08-06 18:21:34 · 675 阅读 · 0 评论 -
梯度和反向传播
在机器学习的时候都了解过了,梯度是一个向量,导数+变化最快的方向损失函数:通过梯度使损失降到最用y=wx+b举例也就是使用梯度来更新w的值,w=w-学习率*梯度。大于零就减小,反之增大。原创 2024-08-05 17:12:26 · 246 阅读 · 1 评论 -
pytorch的入门使用
张量是一个统称其中包含0阶,1阶,2阶,3阶,4阶,.......n阶。0阶:标量,常数,0-D Tensor1阶:向量,1-D Tensor2阶:矩阵,2-D Tensor一直增加维度。原创 2024-08-05 15:14:40 · 462 阅读 · 0 评论 -
深度学习与神经网络介绍
人工神经网络(Artificial Neural Network,ANN ),简称为神经网络(Neural Network,NN )或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型,用于对函数进行估计和近似。和其他机器学习方法一样,神经网络已经被用于解决各种各样的问题,例如机器视觉和语音识别,这些问题都说很难被传统基于规则的编程所解决的。原创 2024-07-15 16:56:35 · 948 阅读 · 0 评论