![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch
eryihahaha
这个作者很懒,什么都没留下…
展开
-
华为推荐系统赛道三
样本分布不均衡focal loss:loss采样上:sampler模型上:ESMMDeepCTR原创 2021-08-19 17:10:37 · 123 阅读 · 0 评论 -
Bert中文vocab ##的作用
This is the character used to denote WordPieces, it’s just an artifact of the WordPiece vocabulary generator that we use, but most of those words were never actually used during training (for Chinese). So you can just ignore those tokens. Note that for the原创 2021-04-28 15:45:45 · 3916 阅读 · 0 评论 -
自动调参工具 NNI的使用
1. 首先创建一个search—space 的json文件like this{ "batch_size": {"_type":"choice", "_value": [2000,5000,10000]}, "hidden_size1_lstm":{"_type":"choice","_value":[32, 64, 128]}, "hidden_size2_lstm":{"_type":"choice","_value":[32, 64, 128]}, "number_l原创 2020-07-31 14:24:55 · 739 阅读 · 0 评论 -
pytorch——操作(完善中)
1.高维矩阵转置 Transpose 和 Permute1.通过调用tensor.permute(对应维数)可以对任意高维矩阵进行转置.2.transpose只能操作2D矩阵的转置,有两种调用方式:torch.transpose(Tensor, 1, 0) tensor.transpose(q,0)...原创 2020-02-11 11:00:32 · 179 阅读 · 0 评论 -
Pytorch 常用的计算方法总结
#Pytorch 常用的计算方法总结转载自 [link](https://zhuanlan.zhihu.com/p/31494491).这次我把常用的Tensor的数学运算总结到这里,以防自己在使用PyTorch做实验时,忘记这些方法应该传什么参数。总结的方法包括:Tensor求和以及按索引求和:torch.sum() torch.Tensor.indexadd()Tensor元素乘积:...转载 2020-02-01 16:18:03 · 976 阅读 · 0 评论 -
多层感知机学习心得
定义多层感知机在单层神经⽹络的基础上引⼊了⼀到多个隐藏层(hidden layer)。隐藏层位于输⼊层和输出层之间线性变化从联立的式子可以看出输入与输出之间仍旧是单层神经网络我们通过引入一些激活函数来实现非线性变化1.ReLU函数此函数用于将负数置成零,正数不变nn.ReLU(inplace=True)inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生...原创 2020-02-01 19:20:01 · 579 阅读 · 0 评论 -
深度学习——模型选择、⽋拟合和过拟合
问题引入:当我们在改变超参数的时候训练数据集上的准确度提升了但是测试数据集上的准确率却下降了这是为什么呢?训练误差: 模型在训练数据集上表现出的误差泛化误差: 模型在测试数据集上表现出的误差(其实是单个测试数据误差的期望,我们有总体来近似,可以考虑除以n)在数据集同分布的情况下:训练误差期望=泛化误差折K交叉验证法把原始训练数据集分割成K个不重合的⼦数据集然后我们做K次模型训练和...原创 2020-02-04 21:24:27 · 333 阅读 · 0 评论