实战指南：Llama3.1高效集成，打造个性化本地知识库应用部署

一. 环境介绍

高性能应用服务 HAI 拥有丰富的预装应用，可以将开源社区的前沿模型快速转化为您专有的部署实践，一键拉起，即开即用。现已支持在HAI购买页的社区应用中，找到Llama 3.1等应用的入口，简单选型后，即可一键启动推理服务。

Chatchat项目介绍

该项目利用langchain思想，实现了基于本地知识库的问答应用。支持市面上主流的开源 LLM、 Embedding 模型与向量数据库，可实现全部使用开源模型离线私有部署。与此同时，该项目也支持 OpenAI GPT API 的调用。

项目的实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

部署完成的效果展示

二. 使用说明

1. 进入HAI购买页，选择“Langchain-Chatchat-llama3.1”社区应用并创建实例。实例创建完成后，点击算力连接方式，选择jupyterlab并进入terminal，将下方的代码复制粘贴到terminal中，按回车执行。当看到下图所示内容后，代表应用启动完成。

代码语言：javascript

**复制

export CHATCHAT_ROOT=/root/chatchat_data
chatchat init
chatchat kb -r
chatchat start -a

2. 使用实例公网ip，代替URL中的0.0.0.0，粘贴到导航栏即可访问。可按需上传本地的文件进行问答交互。

附录：在HAI上用llama3.1的几种姿势

模型测试

可以基于HAI中基础的llama3.1环境，快速测试模型问答性能。

微调（Fine-tuning）

通过在特定任务或领域的数据上进一步训练llama3.1模型，使其更适合特定应用。例如，可以使用特定领域的文本数据来微调模型，使其在该领域的表现更好。

挂载RAG（Retrieval-Augmented Generation）

结合信息检索技术和生成技术，使模型在回答问题时可以检索到相关的信息并生成更准确的回答。这种方法通常用于需要实时或准确信息的任务。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓