guiwenming-CSDN博客

原创 Triton Inference Server部署Meta-Llama-3-8B-Instruct大模型TensorRT-LLM量化后端服务详细命令和代码

最近准备用Triton Inference Server部署llama3大模型，苦于资料很少，听了多次NVIDIA的课程，查阅了很多中英文资料，经过多次尝试，终于大告成功。此文章整理全部部署过程，分享成果。

2024-10-02 16:04:13 1589

原创基于广域网和安全SSL/TLS 连接的非标准3306端口的mysql主从数据库复制配置

mysql的主从数据库复制应用很普遍，如果是局域网内的复制可以从网络上找到很多相关文章，但是关于广域网和基于安全SSL/TLS的文章很少，找不到配置方法。作者经过实践，总结了广域网下基于安全SSL/TLS的mysql主从数据库复制配置方法，并详细介绍配置方法和原理。

2024-09-01 13:46:52 1268

原创 RAG+小模型phi3实现银行客服理财产品年化收益率查询全程实现细节公开

随着金融市场的快速发展和理财产品种类的日益丰富，客户在选择和了解银行理财产品时，对年化收益率等关键信息的查询需求日益增长。传统方式下，客户可能需通过复杂的菜单导航、人工客服咨询或自行阅读冗长的产品说明书来获取这些信息，过程繁琐且效率不高。本项目旨在通过智能化手段，将RAG模型与高效的小模型phi3相结合，为银行客服系统赋能，实现快速、准确、个性化的理财产品年化收益率查询服务。

2024-08-18 15:24:10 1133 1