梆子井欢喜坨的博客

本文仅供自己日后复习所用，参考了很多博客和知乎回答的内容，中途没有及时记录所以无法一一列出，希望谅解。目录NLP的发展过程中的核心技术代表1. 基于统计的语言模型语言模型与维数灾难N-Gram模型2. 神经网络语言模型（NNLM）NNLM模型公式NNLM模型结构NNLM总结3. Word2vec引入CBOW和Skip-GramCBOW最简单的情况：One-word context推广至Multi-word contextWord2vec得到的词向量词向量的性能探究几个优化方法Hierarchical So

参考文献：[1] Vinyals O , Fortunato M , Jaitly N . Pointer Networks[J]. Computer Science, 2015, 28.[2] Gu J , Lu Z , Li H , et al. Incorporating Copying Mechanism in Sequence-to-Sequence Learning[C]// Proceedings of the 54th Annual Meeting of the Associat

论文信息作者：**Xinsong Zhang **Shanghai Jiao Tong University**Pengshuai Li **Shanghai Jiao Tong University**Weijia Jia **University of Macau & Shanghai Jiao Tong University**Hai Zhao **Shanghai Jiao Tong University论文来源：AAAI-2019论文引用：Zhang X, Li P.

论文信息论文来源：arXiv论文引用：Han X, Gao T, Lin Y, et al. More data, more relations, more context and more openness: A review and outlook for relation extraction[J]. arXiv preprint arXiv:2004.03186, 2020.论文链接：https://arxiv.org/abs/2004.031861. 文章概要**关系事实（Re.

1. 前言最近学习了一下胶囊网络（Capsule Net），这里写一篇博客记录学习笔记。胶囊网络于2017年，由深度学习先驱Hinton发布的开源论文《Dynamic Routing Between Capsules》提出。胶囊网络的特点是“vector in vector out”，取代了以往神经元的“scalar in scalar out”。Q: 什么是“胶囊”呢？A: 只要把一个向量当作一个整体来看，它就是一个“胶囊”。每一个胶囊表示一个特征，Capsule输出的向量的模值大小表示有没.

目录1. 第一篇论文《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》1.1 论文基本信息1.2 动机1.3 模型1.4. 实验1.4.1 训练所用的数据集1.4.2 实验结果1.4.3 消融实验1.5 小结2. 第二篇论文2.1 论文基本信息2.2 动机2.3 模型2.3.1 Augmented SBERT2.3.2 Domain Adaptation with AugSBERT2.4 实验2.4.1 数据集2.4.1.1 单领