qq_38690917的博客

1、TF-IDFTF代表一个文档里的词频IDF代表所有文档里的词频，代表全局信息TF-IDF将TF和IDF相乘，是基于统计学的方法2、词向量CBOW：挑一个要预测的词来学习这个词前后文中词语和预测词的关系Skip-Gram：把上述过程反过来，使用文中某个词，然后预测这个词周边的词3、句向量词向量加工成句向量：Encoding过程，进行压缩，到另一个向量空间，然后Decoding，解压seq2seq：Encoding为LSTMCNN：Encoding为卷积，卷积核的意思

一、在Ubuntu下安装sentencepiece的C++版本1、安装环境依赖sudo apt-get install cmake build-essential pkg-config libgoogle-perftools-dev2、源文件编译git clone https://github.com/google/sentencepiece.git cd sentencepiecemkdir buildcd buildcmake ..make -j $(nproc)sudo

1、安装tokenizerspip install tokenizers2、特殊字符的文件special.txt[PAD][unused1][unused2][unused3][unused4][unused5][unused6][unused7][unused8][unused9][unused10][unused11][unused12][unused13][unused14][unused15][unused16][unused17][unused18

目录1循环序列模型1.1为什么选择序列模型1.2数学符号1.3循环神经网络模型序列模型1循环序列模型1.1为什么选择序列模型例子这些问题可以称作使用标签数据(x,y)作为训练集的监督学习，序列问题有很多不同的类型，有些问题里，输入数据x和输出数据y都是序列，但就算在这种情况下，x和y有时也不会一样长1.2数学符号假如一个序列模型，输入语句是这样的：Harry Potter and Herminoe Granger invented a new spell.