![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
changreal
这个作者很懒,什么都没留下…
展开
-
深度学习模型复现——随机数种子设置相关
来源:https://blog.csdn.net/weixin_40400177/article/details/105625873转载 2021-03-04 16:02:13 · 1820 阅读 · 1 评论 -
记录python常用操作
记录python常用操作基本操作*args与**kwargs基本操作*args与**kwargs参考:https://blog.csdn.net/yilovexing/article/details/80577510使用场景是:预先并不知道, 函数使用者会传递多少个参数给你, 所以在这个场景下使用这两个关键字。*args 表示任何多个无名参数,它本质是一个 tuple*kwargs 表示关键字参数,它本质上是一个 dict如果同时使用 *args 和 **kwargs 时,必须 *args原创 2020-08-07 16:39:18 · 192 阅读 · 0 评论 -
记录pytorch常用操作
文章目录数据格式基本用法格式转换张量操作mask相关数据格式dtype: tensor的数据类型,总共有八种数据类型。其中默认的类型是torch.FloatTensor,而且这种类型的别名也可以写作torch.Tensor基本用法格式转换典型的tensor构建方法:torch.tensor(data, dtype=None, device=None, requires_grad=False)从其他形式转换而来:torch.as_tensor(data, dtype=None, devic原创 2020-08-04 19:54:04 · 1308 阅读 · 0 评论 -
记录一些深度学习基础知识
batch normalization与layer normalization索引:NLP中 batch normalization与 layer normalization原创 2020-08-03 15:43:18 · 205 阅读 · 0 评论 -
【总结向】预训练模型小结
大纲1 语言模型2 XLNetXLNET好处XLNet 创新点应用3 Transformer-xl3.1 segment-level recurrence mechanism3.2 relative positional encoding4 Bert阶段1:语言模型阶段2:fine-tune5 GPT6 ELMo7 其他7.1 迁移的2种方法7.2 零碎7.3关于MASK1 语言模型1.1 ...原创 2020-03-03 23:09:33 · 1935 阅读 · 0 评论 -
【论博文笔记】XLNet总结
结合XLNet结合了Bert、GPT 2.0和Transformer XL它通过PLM预训练目标,吸收了Bert(AE)的双向语言模型;GPT2.0更多更高质量的预训练数据,这也被XLNet吸收进来;引入Transformer XL来解决Transformer对于长文档应用不好的问题XLNet 四个好处结合AE优点,PLM获取双向语义信息(对token级别的任务如RC\QA很重要...原创 2020-03-03 21:15:18 · 535 阅读 · 0 评论 -
【源码阅读】BERT pytorch源码结构关系图
如图,模型基本结构是BERT,是model,而BERTLM集成了Bert,NSP,MLM,是模型结构的核心。在数据的处理中,核心是BERTDataset训练或者评估的时候,调用了BERTTrainer,他使用了BertDataset的数据来进行训练与迭代...原创 2020-03-01 22:50:55 · 900 阅读 · 0 评论 -
【读书笔记】《深度学习入门——基于python的理论与实现》
《深度学习入门》读书笔记分析一下可以用哪些方法提高效果参数optimizers:寻找最优权重参数最优化方法权重参数初始值设定超参数过拟合函数激活函数输出层函数损失函数im2col函数层Affine层Softmax-with-loss层Batch Norm层CNN卷积层池化层简单CNN分析一下可以用哪些方法提高效果集成学习、dropout层、学习衰减率、data augmentation(如图像...原创 2019-06-03 12:55:10 · 503 阅读 · 0 评论 -
【论文笔记】Attention总结一:基于论文Neural Machine Translation by Jointly Learning to Align and Translate
0 Attention背景知识总结encoder-decoder这part的背景来源于这篇:https://blog.csdn.net/u012968002/article/details/78867203 这篇attention文章讲解的很好。encoder-decoder中,将输入句子通过非线性变换转化为中间语义表示C,对于解码器Decoder来说,其任务是根据句子Source的中间语义...原创 2019-09-30 15:38:24 · 845 阅读 · 2 评论