安装guidance
pip install guidance
安装llama.cpp扩展(一定要用这个命令)
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python
测试是否安装成功
使用guidance调用大模型
安装guidance
pip install guidance
安装llama.cpp扩展(一定要用这个命令)
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python
测试是否安装成功
使用guidance调用大模型