qq_43042024的博客

利用传统方法（N-gram，HMM等）、神经网络方法（CNN，LSTM等）和预训练方法（Bert等）的中文分词任务实现【The word segmentation task is realized by using traditional methods (n-gram, HMM, etc.), neural network methods (CNN, LSTM, etc.) and pre training methods (Bert, etc.)】...

中文关键词抽取，基于LDA与PageRank（TextRank， TPR， Salience Rank， Single TPR）

Github项目地址：https://github.com/JackHCC/Chinese-Text-Classification-PyTorch中文文本分类，基于pytorch，开箱即用。神经网络模型：TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention, DPCNN, Transformer预训练模型：Bert，ERNIE模型介绍、数据流动过程：参考数据以字为单位输入模型，预训练词向量使用 搜狗新闻 Word+Character 300d，点这里下载参考：

Q&ATransformer为何使用多头注意力机制？（为什么不使用一个头）多头保证了transformer可以注意到不同子空间的信息，捕捉到更加丰富的特征信息。可以类比CNN中同时使用多个滤波器的作用，直观上讲，多头的注意力有助于网络捕捉到更丰富的特征/信息。参考：https://www.zhihu.com/question/341222779Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？ （注意和第一个问题的区别）使用Q/K/