moandaylab

首先来谈下这个项目的背景。JINA AI作为开源软件的公司，维护了很多开源项目。那在此过程中，每天都会收到来自开源社区的大量问题，这间接导致工程师们每天要花很多时间去回答用户的问题。因此，基于此背景下，也就有了现在这个智能文档问答系统。首先先简单看下整个问答系统的定义。整个输入包含：用户的问题，还有完整的文档集合。而输出就是，问题的答案。

AutoGPT的原理是基于预训练语言模型，使用大量的语料库进行训练，从而学习到自然语言的规律和特征，进而生成符合语法和语义规则的文章。AutoGPT是GPT的改进版，通过自动搜索算法来优化GPT的超参数，从而提高其在各种任务上的表现。AutoGPT使用多层的自注意力机制和前馈神经网络，可以有效地处理长文本序列，从而提高生成文章的质量和准确性。在生成文章时，AutoGPT会根据输入的文本内容，通过预训练模型进行编码，然后使用解码器生成符合语法和语义规则的文章。迭代过程中的一些心得和思考。

从GPT1到GPT3，全世界几乎很多与ai相关的工作都是在follow openai的。到后面呢，openai其实就不再开源了，很多东西也就都没有放出来了。到2022年的时候，就出现了ChatGPT，然后就引爆了现在大模型的风潮。从CodeX开始，验证的是语言模型coding的能力，以及推演的能力。而在WebGPT里面，其实就已经在尝试决策上面的能力，它某种意义上是为后续的plugin做前置的验证。ChatGPT数据收集PretrainSFT和RLHF。四个过程都要经历哪些事情呢？以下是openai。

神经网络，也称人工神经网络。人工神经网络是一种运算模型（就是输入输出的映射），由大量的节点（或称神经元）之间相互联接构成。运算模型指的是：从输入到输出的一种映射。每个神经元里存储着若干权重（weight）、偏置（bias）和一个激活函数（activation）。输入乘上权重加上偏置，经过激活函数得到输出。激活函数用于添加一些非线性变换。神经网络通常包含一个输入层、若干隐藏层、一个输出层。输入层通常不用于计算神经网络的层数。

在上面的文章中，我们了解了关于人工智能的前世今生，同时也了解了关于ChatGPT在发展过程中的一些关键节点。以上就是本文的全部内容，我们下期见~🍻。

下面先来说说，我们在用大语言模型可以干些什么。最后，我们来说下提示词从哪里开始呢？分成五步：如何开始呢？—— 比如说，拿到，基于PaLm2的这个模型，我们就先一点点地去设计这个提示词。精确—— 可以让它去按照一个角色，通过一系列的训练，去给出输出。一次问一个任务—— 同时，还要让模型尽量少地执行任务，一次性不要问太多，这样能得到更准确的答案。避免冗长—— 避免有过于冗长的提示词，包裹提示词的允许也是会有影响的。分解成简单任务—— 因此，我们可以去实试验不用的组合，找到合理的提示词。