![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
读书笔记
文章平均质量分 78
like_red
这个作者很懒,什么都没留下…
展开
-
温故而知新——attention
学习资料:https://zhuanlan.zhihu.com/p/149634836。带着这些问题,重新review了一下attention,这里做一些复习笔记。2)attention本身的计算是否会带上序列信息。3)在encoder中normal的作用是什么。1)attention块的时间复杂度。原创 2024-03-24 14:12:13 · 179 阅读 · 0 评论 -
温度sofmax
《HEATED-UP SOFTMAX EMBEDDING》学习笔记在用softmax计算判别概率时,加上参数α此时,损失函数的梯度可推导为:也就是说引入参数α会对梯度产生影响,具体而言如下:(自己的理解)当α过小,反向传递时,最难负利样本、正样本、其他样本三者的梯度在α的加持作用下,梯度作用接近,且偏小,造成不容易收敛的情况;当α过大,反向传递时,最难负例样本和证样本的梯度作用非常大(p(m|x,α)值加大,乘上α,会起到放大的作用),其他样本的loss并没有及时更新。此时近似于学习了分类原创 2022-05-29 16:38:39 · 385 阅读 · 0 评论 -
关于Hinton的capsules计划
关于Hinton的capsules计划前不久Hinton的那篇《Dynamic Routing Between Capsules》论文问世了,引起了广泛的关注。刚好跟着学长做文献阅读,我就是看得这篇文献,所以写点博客记录一下我的一些学习结果。原创 2017-11-26 23:28:11 · 1171 阅读 · 0 评论 -
“1秒”拥有大师的笔触/让世界大师们的风格“重生”——《A Neural Algorithm of Artistic Style》读后感
最近看了Leon A. Gatys、Alexander S. Ecker、Matthias Bethge三人合力撰写的《A Neural Algorithm of Artistic Style》,根据自己的理解在这里做一些记录。前言这是一篇非常有意思的论文,论文描述了一种“黑科技”,这个“黑科技”可以让实世界上那些著名画家的风格”重生“,并根据这些风格”画”出新的图片。运用**VGG19*原创 2018-01-14 00:43:35 · 501 阅读 · 1 评论 -
图片生成模型——gated pixelCNN
google DeepMind团队在《pixel recurrent neural networks》中提出了pixelRNN/CNN之后又发表了一篇论文——《Conditional Image Generation with PixelCNN Decoders》——这篇论文中提出了一个基于pixelRNN/CNN上进行改进的一个模型——gated pixelCNN。gated pixelCN...原创 2018-04-04 21:44:43 · 17139 阅读 · 5 评论 -
session-based recommendation有关的论文阅读记录
最近要做关于session-based recommendation有关的东西,看了一些论文,写一点阅读笔记记录一下。督促自己快看快看!!!用来进行session-based recommendation的算法可以如下分类:不用深度学习的算法:item-to-item recommendation马尔科夫链用到深度学习的算法没有用到RNN的1) STAMP Short-T...原创 2018-10-26 15:55:04 · 4230 阅读 · 0 评论 -
《Real-time Personalization using Embeddings for Search Ranking at Airbnb》学习笔记
2018年KDD的best paper读书笔记写在开篇的唠唠叨叨背景介绍场景论文内容listing embedding基于当前点击的房源挖掘用户短期兴趣偏好user-type & listing-type embeddingembedding的应用疑惑新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格...原创 2019-03-19 10:51:02 · 2665 阅读 · 2 评论 -
关于cross-domain recommendation的论文阅读笔记
阅读笔记,持续更新…1、只用到了rating matrix进行建模《DARec: Deep DomainAdaptation for Cross-Domain Recommendation via Transferring Rating Patterns》user/item的representation从AutoEncoder中得到(AutoEncoder的缺点是,当数据量非常稀疏的时候,...原创 2019-08-19 11:04:17 · 5727 阅读 · 0 评论