llama-cpp-agent 兼容llama.cpp 以及llama-cpp-python服务的llm工具

包含的特性

  • 使用简单
  • 结构化输出
  • 单个或者并行函数调用
  • rag 能力
  • agent chain
  • 基于grammars 以及json schema 的处理，可以确保大部分7b 的llm 可以支持函数调用以及结构化输出
  • 多provider 支持，包含了llama-cpp-python， llama.cpp server TGI，vllm
  • 兼容，python 函数，pydantic 工具，llama index 工具，以及openai tool sschema
  • 灵活

说明

llama-cpp-agent 在测试过之后发现对于函数调用的稳定性以及可靠性还是很不错的，是一个值得使用的rag 以及agent 开发框架

参考资料

 https://llama-cpp-agent.readthedocs.io/en/latest/ 

 https://github.com/Maximilian-Winter/llama-cpp-agent