![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
akon_wang_hkbu
这个作者很懒,什么都没留下…
展开
-
Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond
Machine Reading Comprehension:The Role of Contextualized Language Modelsand Beyond机器阅读理解(MRC)旨在教机器阅读和理解人类语言,这是自然语言处理(NLP)的长期目标。随着深度神经网络的爆发和上下文语言模型(contextualized language models-CLM)的发展,MRC的研究经历了两个重大突破。作为一种现象,MRC和CLM对NLP社区有很大的影响。在本次调查中,我们提供了有关MRC的全面.原创 2020-08-18 17:37:24 · 1378 阅读 · 0 评论 -
Bert模型结构——源码
昨天同事突然问我"BERT论文中的图,虽然画了多个transformer block,但一层是不是相当于只有一个??",我当时也有点懵逼,后来看了源码弄清楚了,今天就写一下Bert整个代码class BertModel(BertPreTrainedModel): """ The model can behave as an encoder (with only self-attention) as well as a decoder, in which case a laye.原创 2020-06-18 10:05:02 · 2069 阅读 · 1 评论 -
keras使用callback造自己的monitor函数
fit_generator函数callback类keras.callbacks.ModelCheckpoint是一个常见的callback类,其重写了on_epoch_end函数,在每个epoch结束保存模型数据进入文件。keras.callbacks.History类主要记录每一次epoch训练的结果,包含loss以及acc的值;keras.callbacks.ProgbarLogger类实现训练中间状态数据信息的输出,主要涉及进度相关信息。训练过程中,每次权重的更新都是在一个bat原创 2020-06-09 10:11:51 · 1652 阅读 · 0 评论 -
pytorch crossentropy为nan
**问题:**用pytorch的crossentropy做损失函数的时候,迭代几步之后loss为nan。交叉熵损失函数的具体为:loss = -(x*ln(z)+(1-x)*ln(1-z)) z = softmax(pred_x)这样当z为0/1时会出现loss为nan的情况本人的具体原因网络中用了MultiHeadAttention,attention的mask全为0,这样attention就为nan,造成个别样本的输出特征全为nan。于是就自己用pytorch写了一个cross_entro转载 2020-06-02 17:00:23 · 938 阅读 · 0 评论 -
特征选择
原文章http://blog.csdn.net/Yaphat/article/details/53188125?locationNum=3&fps=1转载 2017-11-28 09:50:51 · 342 阅读 · 0 评论 -
池化方法总结(Pooling)
在看Imagenet classification with deep convolutional neural networks的时候看到重叠poolinghttp://blog.csdn.net/mao_kun/article/details/50507376?readlog转载 2017-10-26 20:23:22 · 2753 阅读 · 0 评论 -
深度学习基础篇:如何选择正确的激活函数?
转载自知乎https://zhuanlan.zhihu.com/p/30510596?utm_source=wechat_timeline&utm_medium=social&from=timeline转载 2017-10-30 10:01:55 · 1112 阅读 · 0 评论 -
cross entropy的梯度
之前已经发过cross entropy的推导http://blog.csdn.net/akon_wang_hkbu/article/details/77703250现在写一下cross entropy的梯度原创 2017-10-19 20:59:57 · 1385 阅读 · 0 评论 -
Logistic的损失函数的推导.
原创 2017-08-30 10:14:11 · 2387 阅读 · 0 评论 -
softmax函数以及相关求导过程
转载 2017-10-19 20:21:54 · 572 阅读 · 0 评论