在使用openAI的嵌入API时如果遇到'$.input' is invalid.问题,原因是传入的需要获取向量的字符串不合法。
按理说openAI可以编码任意形式的字符串,包括中文,数字,字符,那为什么还会出现输入不合法的情况呢?
原因是Python中有一种字符串是空字符串
empty_string = ""
在进行文本切片读取语句时有可能会获得一个这样的字符,在我的情况中出现在了文档的结尾
['这就是文章的全部内容', '感谢观看', '再见', '']
去掉这个字符就可以了。
另外,需要注意,在azure上部署openAI嵌入API
"text-embedding-ada-002"
单次批量处理最多接受16条语句,语句数量更多时需要分批处理。