HJ_blog

知识密集型任务需要大量的事实知识，并且经常依赖外部信息的帮助。最近，大型语言模型(LLM)(例如ChatGPT)在解决包括知识密集型任务在内的各种具有世界知识的任务方面表现出了令人印象深刻的能力。然而，仍然不清楚LLM能够多好地感知它们的事实知识边界，特别是当合并检索增强时它们如何表现。在这项研究中，我们提出了对LLM的实际知识边界以及检索增强如何影响开放域上的LLM的初步分析。特别地，我们关注三个主要的研究问题，并通过检验LLMs的QA性能、先验判断和后验判断对它们进行分析。

在本节中使用的索引类型不需要训练，大家可以使用IndexIVFFlat（倒排索引）试试，倒排索引需要进行索引训练，而且检索效率更高。

最近大🔥的法律大模型Chatlaw成功出道，在法律领域超过GPT-4。现在看一下他们的技术报告：ChatLaw: Open-Source Legal Large Language Model with Integrated External Knowledge Bases，给大家以LLM+外部知识库构建领域模型提供参考思路。论文地址：https://arxiv.org/pdf/2306.16092.pdf代码：https://github.com/PKU-YuanGroup/ChatLaw。

多文档问答和键值检索结果表明，当语言模型必须在长输入上下文中访问相关信息时，其性能会显著下降。在对文档或键值对进行上下编码时，只有解码器的模型无法查询标记，因为查询只出现在提示的末尾，而只有解码器的模型在每个时间步只能处理前面的标记。另一方面，编码器-解码器模型使用双向编码器对输入上下文进行上下编码，并且似乎对输入上下文中相关信息的位置变化更具鲁棒性——可以使用这种直觉，通过在数据之前和之后放置查询，启用文档的查询感知上下文化(或键值对),来提高仅解码器模型的性能。

循环神经网络(RNN,LSTM,Bi-LSTM)代码实现

TextCNN文本分类

word2vec词向量模型，skip-gram方法

神经网络语言模型

nn.Embedding词向量化

评价指标打印出现undefinedmetricwarning

accuracy,precision,recall,F1指标值分析

词表映射