1.大模型工作原理:
2.大模型的缺陷:①它对于不具备的知识(未经过训练)会出现幻觉②无法解决复杂的逻辑任务③不擅长数学运算
3.对于大模型缺陷所对应的解决方法:①使用外接知识库给LLM提供知识②多个LLM协同,各自完成自己的任务③使用外接工具,计算器等
4.对于Python代码如何调用OpenAI GPT3模型API:①使用openai库调用②request请求
5.主流prompt工程:①Few-shot:使用少量例子给LLM提示②Zero-shot:不使用例子输入,仅使用指令③Cut:思维链,让LLM有一个思考的过程④可控生成:是用promot控制LLM生成我们想要的格式,方便后面对其进行解析
6.增强检索生成:大模型将检索到的文本(非结构化数据,不可计算)转化为向量(结构化数据,可计算)
7.如何将文本变为向量:①one-hot编码 缺点:①当文本较长时,向量会很长②无法计算出两个向量之间的相似度 ②整数编码:缺点:无法计算出两个向量之间的相似度③embedding:可以将词语或者句子映射到坐标中,可以是二维也可以是高维,当两个词语或句子相近时,在空间上也是相近的
8.有时检索到的文本是很长的,大模型可以将检索到的文本进行剪切,比如将200字或300字作为一块,然后将剪切为一块的那些文字进行embedding并进行存储(向量和所对应的文本存储在一起)