![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
有梦想有行动
生命的轨迹会沿着你期望的方向走去
展开
-
K折交叉验证
在网上搜索K折交叉验证发现有争议,下面是查询正版书籍得到的结果:K折交叉验证:是将数据集分为k个不重合的子集。测试误差可以估计为k次计算后的平均测试误差。在第i次测试时,数据的第i个子集用于测试集,其他的数据用于训练集。---------来自《深度学习》[美]伊恩,古德费洛...原创 2021-01-05 21:09:16 · 300 阅读 · 0 评论 -
Pytorch损失函数NLLLoss()与CrossEntropyLoss()的关系
Pytorch损失函数NLLLoss()与CrossEntropyLoss()的关系import torchinput=torch.randn(3,3)soft_input = torch.nn.Softmax(dim=1)input1=torch.log(soft_input(input))print("对input做Softmax,然后取log#############")print(torch.log(soft_input(input)))loss=torch.nn.NLLLos原创 2020-12-22 17:16:52 · 667 阅读 · 0 评论 -
torch.nn.CrossEntropyLoss中的参数
torch.nn.CrossEntropyLoss(weight: Optional[torch.Tensor] = None, size_average=None, ignore_index: int = -100, reduce=None, reduction: str = ‘mean’)weight:(张量,可选)可以指定一个一维的Tensor,用来设置每个类别的权重。用C表示类别的个数,Tensor的长度应该为C。当训练集不平衡时该参数十分有用。size_average:(最新的版本已弃用)(b原创 2020-12-22 11:14:15 · 14210 阅读 · 2 评论 -
Pytorch中CrossEntropyLoss()函数
Pytorch中CrossEntropyLoss()函数的主要是将softmax-log-NLLLoss合并到一块得到的结果。1、Softmax后的数值都在0~1之间,所以ln之后值域是负无穷到0。2、然后将Softmax之后的结果取log,将乘法改成加法减少计算量,同时保障函数的单调性 。3、NLLLoss的结果就是把上面的输出与Label对应的那个值拿出来,去掉负号,再求均值。 ...原创 2020-12-07 15:01:08 · 440 阅读 · 0 评论 -
卷积神经网络
卷积神经网络模型结构图卷积神经网络与全连接神经网络的区别(1)总有至少1个卷积层,用以提取特征(2)卷积层级之间的神经元是局部连接和权值共享,这样的设计大大减少了(w,b)的数量,加快了训练。池化层...原创 2020-11-15 20:13:15 · 208 阅读 · 1 评论 -
torch.utils.data.DataLoader()到底是什么作用?
就是数据加载器,结合了数据集和取样器,并且可以提供多个线程处理数据集。在训练模型时使用到此函数,用来把训练数据分成多个小组,此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。生成迭代数据非常方便,请看如下示例:""" 批训练,把数据变成一小批一小批数据进行训练。 DataLoader就是用来包装所使用的数据,每次抛出一批数据"""import torchimport torch.utils.data as DataBATCH_SIZE = 5x =原创 2020-10-17 21:05:41 · 7783 阅读 · 0 评论 -
交叉验证笔记
不好意思,还没来得及详细写出来!!!原创 2020-10-10 08:24:31 · 171 阅读 · 0 评论 -
精准率和召回率
其中,TP:样本为正,预测结果为正;FP:样本为负,预测结果为正;TN:样本为负,预测结果为负;FN:样本为正,预测结果为负。准确率、精准率和召回率的计算公式如下:准确率(accuracy): (TP + TN )/( TP + FP + TN + FN)精准率(precision):TP / (TP + FP),正确预测为正占全部预测为正的比例召回率(recall): TP / (TP + FN),正确预测为正占全部正样本的比例F-measure:precision和recall调和均.原创 2020-09-29 11:15:34 · 8766 阅读 · 0 评论 -
学习GRU
为什么会提出 GRU?1.RNN存在梯度爆炸和梯度消失的缺点2LSTM 门控网络结构过于复杂与冗余GRU将遗忘门和输入门合并成更新门,同时将记忆单元与隐藏层合并成重置门,进而让整个结构运算变得更加简化且性能得以增强。每个隐藏单元都有单独的重置和更新门当重置门接近于0时,隐藏状态被迫忽略先前的隐藏状态,仅用当前输入进行复位。这有效地使隐藏状态可以丢弃将来以后发现不想关的任何信息,从而允许更紧凑的表示。另一方面,更新门控制从前一个隐藏状态将有多少信息转移到当前隐藏状态。这类似于LSTM网络中的记忆原创 2020-09-27 15:41:39 · 325 阅读 · 0 评论 -
条件随机场CRF学习
CRF(Conditional Random Field)1.CRF能用来做什么?CRF是一个序列化标注算法(sequence labeling algorithm),接收一个输入序列X,并且输出目标序列Y,也能被看作是一种seq2seq模型。这里使用大写X,Y表示序列。例如,在词性标注任务中,输入序列为一串单词,输出序列就是相应的词性。除了词性标注之外,CRF还可以用来做chunking,命名实体识别等任务。一般地,输入序列X被称为observations,Y叫做states。于是我们可以将简单版原创 2020-09-21 14:38:41 · 318 阅读 · 1 评论 -
sigmoid函数和softmax函数学习
sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1,1)),这样可以用来做二分类。softmax把一个k维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务,如取权重最大的一维。...原创 2020-09-21 10:11:10 · 112 阅读 · 0 评论