LangChain教程 | 实践过程报错集 | 持续更新

这是本人最近在做langchain教程过程中的遇到的报错，不分先后顺序。

报错：TypeError: 'NoneType' object is not iterable

这个报错很常见，咱们要看原始报错的位置是哪里，下面是我的截图：

找到源头之后，就在源头的位置打个断点：

然后启用debug模式 shift+F9，如果不懂断点模式，自行学习下先。

这里就能看到提示代理错误。再回到上面源码的位置，这是由于咱们在使用LLMs工具时，没有正常访问到大语言模型平台，这里用的是openai的代理，检查发现这是由于OPENAI-KEY代理商的问题，不支持默认的 text-embedding-ada-002 ，更换成其他代理商，就可以了。

以下这几个LLM都有可能报错：请注意检查自己的openai-key代理商都支持那些models。

报错：Python-dotenv could not parse statement starting at line 2

直接检查配置文件 .env 格式是否正确，由于刚更新了最新的pycharm编辑器，使用快捷注释 ctrl + / ，直接采用 ; 进行注释而不是标准的 # ，改回正常注释即可，如图：

报错：openai.RateLimitError: Error code: 429 - {'error': {'message': 'Request too large for text-embedding-ada-002 in organization org-LuuLZeqq6vQg5xm5ykGftEgo on tokens per min (TPM): Limit 150000, Requested 301143. The input or output tokens must be reduced in order to run successfully.

原因如错误信息所示，速率限制。 问题是请求者最小( rpm )过多。

官方文档：https://platform.openai.com/docs/guides/embeddings/use-cases

 解决方案：

作为解决方案，通过在一个请求中获取多行的嵌入表示来降低RPM。
首先，计数每行的令牌数。

import tiktoken
embedding_encoding = "cl100k_base"  # this the encoding for text-embedding-ada-002
encoding = tiktoken.get_encoding(embedding_encoding)
df["num_tokens"]=df["embedding_text"].map(lambda x: len(encoding.encode(x)))

通过以接近TMP上限的令牌数请求，避免受到限制。

import time
embedding_model="text-embedding-ada-002"
embedding_texts=[]
token_sum=0
max_input=2048 # inputのlistの最大長は2048 https://github.com/openai/openai-python/issues/519
max_tmp=150000*2/3
responses=[]
for i,row in df.iterrows():
    token_sum+=row["num_tokens"]
    if (token_sum>=max_tmp) or (len(embedding_texts)>=max_input):
        print(i,"/",df.shape[0],len(embedding_texts),token_sum-row["num_tokens"])
        response=client.embeddings.create(input = embedding_texts, model=embedding_model)
        responses+=response.data
        token_sum=row["num_tokens"]
        embedding_texts=[row["embedding_text"]]
        time.sleep(65)
    else:
        embedding_texts+=[row["embedding_text"]]
    
responses+=client.embeddings.create(input = embedding_texts, model=embedding_model).data
df["ada_embedding"]=[r.embedding for r in responses]

除了数据过多( 200*150000令牌以上)以外，这样应该不会影响速率限制。

报错：This model's maximum context length is 4097 tokens. However, your messages resulted in 7998 tokens. Please reduce the length of the messages.

此模型的最大上下文长度为4097个标记。但是，您的消息产生了7998个令牌。请缩短信息的长度。

解决方案： 

其实就是openAI的model都有限制上下文大小，具体的model大小看下面：

model_token_mapping = {
            "gpt-4": 8192,
            "gpt-4-0314": 8192,
            "gpt-4-0613": 8192,
            "gpt-4-32k": 32768,
            "gpt-4-32k-0314": 32768,
            "gpt-4-32k-0613": 32768,
            "gpt-3.5-turbo": 4096,
            "gpt-3.5-turbo-0301": 4096,
            "gpt-3.5-turbo-0613": 4096,
            "gpt-3.5-turbo-16k": 16385,
            "gpt-3.5-turbo-16k-0613": 16385,
            "gpt-3.5-turbo-instruct": 4096,
            "text-ada-001": 2049,
            "ada": 2049,
            "text-babbage-001": 2040,
            "babbage": 2049,
            "text-curie-001": 2049,
            "curie": 2049,
            "davinci": 2049,
            "text-davinci-003": 4097,
            "text-davinci-002": 4097,
            "code-davinci-002": 8001,
            "code-davinci-001": 8001,
            "code-cushman-002": 2048,
            "code-cushman-001": 2048,
        }

目前现有的OpenAI model的上下文大小

按照提示来说，最好是更换成gtp-4或者是gpt-3.5-turbo-16k，如果追求更好性能的就gpt-4，如果想性价比高，价格便宜的就gpt-3.5的，价格差了将近20倍。