向量数据库之间看似都一样，但细细比较还是有很多不同的。

选择向量数据库还是要看下索引实现方式，是否支持量化索引，近邻搜索准确率和响应速度，最好是支持参数调整的，可以在不同场景设置不同参数。

LLM的应用必然越来越普及，这是一个全新的赛道和机会。随着LLM的进一步发展，LLM的能够落地的应用场景必定也会越来越多。

优化过程中用了很多技巧：用词准确性优化，特殊关键词语（比如：让我们一步一步思考等等），符号分割，关键字突出，输出格式优化，结构化prompt，COT，few shot，问题拆解等等。这句话中既没有用户的当前位置信息，也没有当前的年龄信息，但是如果你用关键字“我在”和“岁”去匹配，可能会匹配出位置“深圳”和年龄“24”，但这并不是用户当前的位置和年龄信息，属于误判。但是，接进来容易，实测起来发现问题不少：LLM幻觉导致的误判，prompt过长导致的成本，以及用户输入的敏感字符导致触发LLM的安全规则等等。

即使你是做前端开发的，你也可以尝试一下Gradio，哪天有人给你提了一个调试界面的需求，原本要半天的工作现在只需要十分钟了，多余的时机用来学习或享受生活，多美（或者，你让后端自己用Gradio搞一个，嘿嘿）。是的，它可不是只适用于LLM的，其他方面感兴趣的大家可以进一步去研究，我这里只聊创建用于测试和验证 LLM 应用的聊天界面。加入以上代码后，你跟之前一样启动你的fastapi后端，然后访问 http://you.domain.name/gradio_chat ，你就可以看到一个聊天机器人界面。

我们在微信需要发送比较长一段文字的时候，我们需要花比较长的时间去写，跟你聊天的人那边的感触就是要有一段时间的等待。最近感悟就是，简单的RAG也好，让人惊喜的AGI也好，都非常容易实现，但是真正要落地到企业中，非常多的坑和需要探索解决的东西，无论是准确率、响应速度、成本，以及使用人的接受度等等。，应用服务器跟LLM服务器间的数据通道需要支持流式响应，一般http接口的封装都有这个参数，比如python request包的post方法的stream参数。看的的效果就是“你输入：”后边的字一个一个显示出来。