学习笔记-TC
文章平均质量分 64
jianafeng
这个作者很懒,什么都没留下…
展开
-
对比学习问题思考
对比学习主要是通过对比,拉近相似样本之间的距离,推远不相似样本之间的距离。而相似样本的构造,又可以分为有监督与无监督两种:有监督对比学习:通过将监督样本中的相同label的样本作为正样本,不同label的样本作为负样本,来进行对比学习;无监督对比学习:由于没有监督信号(label),此时,我们对同一个样本构造两个view,让同一样本构造的两个view互为正样本,而其他样本构造的view则全部为负样本,以此来进行对比学习。而由同一个样本构造两个view,又是数据扩增的过程,所以也可以称作是数据扩展对比学习原创 2023-06-10 10:22:20 · 141 阅读 · 0 评论 -
NLP下游任务理解以及模型结构改变(上)
序言Bert 是一种基于微调的多层双向 Transformer 编码,Bert中的Transformer 编码器 和 Transformer 本身的编码器结构相似,但有以下两点的不同:(1)与Transformer本身的Encoder端相比,BERT的Transformer Encoder端输入的向量表示,多了Segment Embeddings。(2)模型输入中的 Position Embeddings(位置编码)在bert中学习出来的,在Transformer中是预先设定好的值。Bert 实现了原创 2021-10-24 10:46:23 · 6369 阅读 · 0 评论 -
Linux基本命令理解以及记忆
序言Linux基本命令ll 查看该文件夹的内容 内容一行行显示ls 查看该文件夹的内容 横着显示vim查看文件信息【如果不小心误删除了文件内容,则可以通过 “u” 键来撤销刚才执行的命令。如果要撤销刚才的多次操作,可以多按几次 “u” 键】当我们查看vim文件的时候::wq 保存并退出 Vim 编辑器:wq! 保存并强制退出 Vim 编辑器:q 不保存就退出 Vim 编辑器:q! 不保存,且强制退出 Vim 编辑器:w 保存但是不退出 Vim 编辑器:w! 强制保存文本ZZ 直接原创 2021-08-08 11:34:41 · 173 阅读 · 0 评论