![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Deep Learning
文章平均质量分 75
SUFEHeisenberg
在读PhD,研究兴趣为NLP方向。
展开
-
InstanceNorm && LayerNorm
IN&&LN原创 2023-01-26 15:59:52 · 1542 阅读 · 1 评论 -
Paper Reading《Torch.manual_seed(3407) is all you need》
使用PTM在CIFAR10数据集上试验了10^4个种子,探究不用random seed的区别原创 2022-10-18 06:25:15 · 886 阅读 · 0 评论 -
【Coding】从BertForSequenceClassification分类出pooled_output作为final feature
从BertForSequenceClassification分类出pooled_output作为final featureBertForSequenceClassification函数在设计时并未返回pooled_output参数:class BertForSequenceClassification(BertPreTrainedModel): #.... #.... outputs = self.bert( input原创 2022-03-01 16:36:34 · 1819 阅读 · 1 评论 -
Bert model output不会随意改变
Bert model output不会随意改变随便load两个bert model进行验证。>>>model1 = BertModel.from_pretrained(checkpoint)>>>model2 = BertModel.from_pretrained(checkpoint)>>>a = tokenizer("Hello, my dog is cute", return_tensors="pt")>>>b = t原创 2021-11-13 23:05:27 · 1095 阅读 · 0 评论 -
【Paper Quickthrough】October Papers
Paper to quickthroughAll-but-the-Top: Simple and Effective Postprocessing for Word RepresentationsPaper Url. Accepted by ICLR 2018.搞清楚如何减的D维的PCA,figure out why do this?Abstract实值词表示已经转化为NLP应用;最常见的例子是word2vec和GloVe,这两种语言因其捕捉语言规律的能力而得到认可。在本文中,我们演示了一种非常原创 2021-10-24 23:08:44 · 1193 阅读 · 0 评论 -
【转载】Simple AI——Huggingface NLP笔记
【转载】Simple AI——Huggingface NLP笔记基于Pytorch的Huggingface NLP初级教程八篇笔记:官方教程网址本期内容对应网址本系列笔记的GitHub Notebook(可下载直接运行)笔记1:直接使用pipeline,是个人就能玩NLP笔记2:一文看清Transformer大家族的三股势力笔记3:Pipeline端到端的背后发生了什么笔记4:Models,Tokenizers,以及如何做Subword tokenization笔记5:attention_转载 2021-10-01 15:31:05 · 192 阅读 · 0 评论 -
Paper Reading《Supporting Clustering with Contrastive Learning》
Paper Reading《Supporting Clustering with Contrastive Learning 》@author: SUFEHeisenbergPaper url(Accepted by NAACL 2021). Github url. B站讲解. B站代码解析。1. Intuition通过TSNE可视化出数据进行聚类、对比学习之后的embedding分布我们可以看出:数据本身特性分布就是重叠交叉的,单纯的聚类通过优化不同的基于距离或相似度的聚类目标得到的聚类纯度较原创 2021-09-14 15:54:50 · 552 阅读 · 0 评论 -
Paper Reading《Fastformer Additive Attention Can Be All You Need 》
Paper Reading《Fastformer: Additive Attention Can Be All You Need 》Paper url;笔者写作时作者Github尚未开源。Unofficial版本复现:TF版本,Pytorch版本,https://github.com/ypeleg/Fastformer-Keras;以及推荐一位Youtube上的大神Yannic Kilcher对本文进行的讲解。1. Intuition传统Transformer机制囿于512个token文本长度限制原创 2021-09-09 20:18:51 · 272 阅读 · 1 评论 -
Keras查看神经网络每层输出
Keras查看神经网络每层输出@author:Heisenberg主要介绍Keras框架下应用K.functions()查看神经网络每层的输出。先介绍主体代码,本篇以一个简单的neural networks为例。import numpy as npimport keras.backend as Kfrom keras import Modelfrom keras.layers import *class Normal(Layer): def __init__(self, **kwar原创 2021-05-10 00:06:20 · 4850 阅读 · 0 评论 -
Paper Reading 《Decorrelated Batch Normalization》
Paper Reading: DBNDecorrelated Batch NormalizationCVPR2018. Github(Written in Lua). Paper.1. IntuitionIoffe & Szegedy(2017) 提出的Batch Normalization:xi^=γxi−μσ2+ϵ,whereμ=1m∑j=1mμj,σ2=1m∑j=1m(xj−μ)2\hat{x_i}=\gamma\frac{x_i-\mu}{\sqrt{\sigma^2+\epsi原创 2021-05-06 22:51:45 · 464 阅读 · 0 评论 -
Paper Reading IsoBN
Paper Reading:IsoBNIsoBN: Fine-Tuning BERT with Isotropic Batch Normalization任翔组工作. AAAI21. Github(Null). Paper.1. IntuitionBERT embedding存在各向异性的问题,主要表现为1. 高标准差 2. 不同维度间的高相关性。不利于收敛速度和泛化能力。解决思路:whitening & batch normalization (Ioffe and Szegedy, I原创 2021-05-05 22:19:10 · 160 阅读 · 0 评论 -
Paper Reading 《SimCSE》
Paper Reading: SimCSESimCSE: Simple Contrastive Learning of Sentence Embeddings尚未发表。Github. Paper.1. 什么是对比学习及度量标准1.1 概念无监督学习两种思路:1. 生成式学习。i.e. GAN, VAE 2. 对比式学习核心是构建正负样本集合,学习同正样本之间的共同特征(拉进二者距离),区分负样本(拉远距离)。举个栗子:Loss的负对数和里面是正样本对的softmax值,min Loss原创 2021-04-27 19:09:22 · 635 阅读 · 5 评论 -
BP算法实例及代码实现
BP算法实例原创 2021-04-14 13:03:09 · 2651 阅读 · 11 评论