一、基础模型
二、大语言模型
-
1、主流大语言模型架构
1) ChatGPT
2) LLaMA
3) LLaMA2
4) LLaMA3
5) ChatGLM
6) ChatGLM2
7) ChatGLM3
-
2、大语言模型中的位置编码
1) ROPE
-
3、大语言模型中的激活函数
-
4、大语言模型中的标准化
-
5、大语言模型中的Attention
-
6、大语言模型中的长文本输入
三、句子向量
-
1、出色的句子向量
-
2、RetroMAE
-
3、Contrastive Learning
-
4、simCSE
-
5、AugSBERT
-
6、SBERT
-
7、Sentence-BERT
-
8、BERT-whitening
四、文档解析
-
1、通用解析
-
2、docx解析
-
3、 pdf解析
-
4、pptx解析