csdn_tclz的博客

聊一聊PyTorch中LSTM的输出格式rnn,lstm,gru中输入输出维度

传统的Triplet-based约束的缺点：如上左图中，xax_axa​是锚点，xp1、xp2x_p^1、x_p^2xp1​、xp2​是正样本，xn1、xn2x_n^1、x_n^2xn1​、xn2​是负样本。存在这样一种情况，{xa,xp1,xn1}\{x_a,x_p^1,x_n^1\}{xa​,xp1​,xn1​}出现在一个batch中，{xa,xp2,xn2}\{x_a,x_p^2,x_n^2\}{xa​,xp2​,xn2​}出现在另一个batch中。在各自的batch里的，这几条数据满足Margi

1.基本背景本文介绍了一种名为品牌联想的市场营销策略，即通过发现并转发用户关于自己品牌的帖子，以最大限度地吸引和扩大他们对用户的影响。文章指出，如何为一个品牌在社交媒体上选择合适的帖子仍然是一个有待解决的问题。目前完成帖子选择的流程包括由一个了解品牌理念的社交网络营销专家手工做出选择，他的任务是分析并从数百万个可能的帖子中选择正确的内容。因此，完全自动化这个过程是可取的。本文将该问题命名为品牌内容发现。2.主要内容本文提出了一种个性化内容的发现（Personalized Content Discov

知乎转栏：10分钟带你深入理解Transformer原理及实现关于encoder和decoderEncoder总览Encoder端由N(原论文中N=6)个相同的大模块堆叠而成，其中每个大模块又由两个子模块构成，这两个子模块分别为多头self-attention模块，以及一个前馈神经网络模块；需要注意的是，Encoder端每个大模块接收的输入是不一样的，第一个大模块(最底下的那个)接收的输入是输入序列的embedding(embedding可以通过word2vec预训练得来)，其余大模块接收的是其前

背景这里要分析的一篇文章，题为“从辅助源学习图像的主观属性”。近些年，人工智能领域出现了对图像、视频“主观属性”的研究：以图像为例，“主观属性”指的是那些与图像内容信息非客观（客观信息如图像中的物体、颜色、纹理等等），高度依赖受众的主观感受、认知的属性（如喜爱、憎恶等）。如下面的例子:这个例子讲到了主观属性“喜爱”，假定将人们对于图像“喜爱”这个刻画程度以区间[0,1]来表示，对于不同的受众群体，被狗狗救过、对狗过敏、被狗咬伤这些经历，对主观属性“喜爱”的程度自然有深浅 。\qquad文章指出，主观

只使用视频模态、文本模态数据的情况下：一、最开始融入品牌学习的模块后，实验结果很差（训练集上loss下降很慢，到某一个值后几乎不变化，模型没学到什么有用的表示，验证集/测试集AUC均0.48左右）。当时考虑可能是以下几个原因造成：1、品牌表示学习原论文中使用的学习率是1，而视觉-文本网络初始学习率是1e-4。怀疑两个模型学习率上的gap导致没有办法同时学的很好？多次调整初始lr，设置lr随epoch衰减幅度，没效果。2、batch_size过小导致在训练时陷入局部最优？调大batch_size（128

背景之前讲到过，品牌内容发现(content discovery for brands)这一问题被定性为基于内容的排序学习问题。这种利用品牌的历史post来学习其与品牌的相关性从而对新的post进行排名的任务，主要难点有三：（1）品牌之间的相似性问题。多个品牌可能使用相同的品牌联想内容，导致本品牌的post与竞争对手使用的post仅有细微差别，难以区分（2）brand-post之间的稀疏性问题。事实上，几乎不会出现两个不同品牌都转发了某个帖子这样的情况。这也是与推荐场景所不同的地方（通常来讲，推荐任

几个结论：1）信息熵：编码方案完美时，最短平均编码长度的是多少。2）交叉熵：编码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度的是多少。 平均编码长度 = 最短平均编码长度 + 一个增量3）相对熵：编码方案不一定完美时，平均编码长度相对于最小值的增加值。（即上面那个增量）KL散度Kullback-Leibler Divergence，即K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵。在概率学和统计学上，我们经常会使用一种更简单的、近似