RAG | Llama3|The Thing AI云服务器

最新推荐文章于 2024-10-07 06:31:57 发布
最新推荐文章于 2024-10-07 06:31:57 发布
阅读量1.2k 收藏 30
点赞数 42
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Grred/article/details/139063184
版权

Step1 注册云服务器

云服务平台：https://www.onethingai.comAI 算力平台icon-default.png?t=N7T8https://console.onethingai.com/dashboard

  1. 选择AI实验室
  2. 选择AI训练模块
  3. 深度学习框架自选
应用创建成功示例
  • 如果后续需要部署的模型较大的话需要扩充数据盘
  • 提前计算好需要的GPU资源，超出规模需要重新创建应用

  		• 不量化8b量化4b量化
    Qwen1.5-110B-Chat215G113G62G
    Qwen1.5-72B-Chat150左右80左右40左右

Step2 部署Ollama

  • ollama是一个大模型快捷部署工具
  • 根据官网提供的指令直接进行下载即可 
    curl -fsSL https://ollama.com/install.sh | sh

 Tips1 Ollama默认路径修改，防止系统盘挤爆

Olllama默认保存系统盘，然鹅这个云服务器的系统盘非常小，要修改一下配置

(base) root@instance:~/onethingai-tmp/llama# ollama serve --help
Start ollama

Usage:
  ollama serve [flags]

Aliases:
  serve, start

Flags:
  -h, --help   help for serve

Environment Variables:

    OLLAMA_HOST         The host:port to bind to (default "127.0.0.1:11434")
    OLLAMA_ORIGINS      A comma separated list of allowed origins
    OLLAMA_MODELS       The path to the models directory (default "~/.ollama/models")
    OLLAMA_KEEP_ALIVE   The duration that models stay loaded in memory (default "5m")
    OLLAMA_DEBUG        Set to 1 to enable additional debug logging
(base) root@instance:~/onethingai-tmp/llama#

通过帮助页面可见，环境变量OLLAMA_MODELS和存储路径相关

  1. 修改配置文件
    路径：etc/systemd/system/ollama.service
    增加两行环境变量 
    Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_MODELS=/root/onethingai-tmp/llama/model"
  2. export临时变量 
    export LLAMA_MODELS=
  3.  关闭ollama并重启 
    ps -ef|grep ollama
kill pid
                   一套操作下来，文件就可以顺利被下载到数据盘了，记得扩容

Step3   部署LLAMA中文版

  • LLAMA官方版本中文能力一塌糊涂，因此我们可以先部署一个llama3中文版

  • 在hugging face直接选择了一个上升趋势比较快的
  • 甚至已经提供了ollama部署的代码
ollama run wangshenzhi/llama3-70b-chinese-chat-ollama-q4:latest
ollama run wangshenzhi/llama3-70b-chinese-chat-ollama-q8:latest

Tips2 无卡启用，节省成本

隐藏有无卡启用选项
  • 模型下载这些可以选择无卡启用，十分便宜，一天2.5元
  • 按钮非常隐蔽，可恶

Step4 RAG

本次实验主要目的在于测试RAG对大模型的影响，先选用一个文本数据集进行测试

  • 小规模文本数据集
Grred
关注
Llama3应用与RAG的实现
qq_52053775的博客
06-25 1344
在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装。下载地址 https://github.com/ollama/ollama/releases/总共需要修改两个点，第一：Ollama下载地址；链接：https://pan.baidu.com/s/1BQL5y2OBf2wQc18Jg75JKg?下载地址 https://github.com/ollama/ollama/releases/（3）离线下载Linux环境的Ollama安装脚本，并保存到。
Llama3云平台免费使用保姆级教程，附对话效果演示
龙大
04-22 1109
AI一天，人间一年。
基于LLama3、Langchain,Chroma 构建RAG
weixin_41870426的博客
05-05 3424
使用Llama3 Langchain和ChromaDB创建一个检索增强生成（RAG）系统。这将允许我们询问有关我们的文档（未包含在训练数据中）的问题，而无需对大型语言模型（LLM）进行微调。在使用RAG时，首先要做一个检索步骤，从一个特殊的数据库中提取任何相关的文档，本文使用的是《欧盟人工智能法案》文本。
树莓派5 笔记26：ollama大型语言模型_中文输入法_Python_espeak文字转语音
NULL指向我的博客
08-19 1006
下载大语言模型，下载中文输入法，Python_espeak文字转语音
Ollama的基础使用
一名全栈开发工程师
06-19 1630
Ollama 支持的部分模型包括：Llama 3、Llama 2、Mistral、Gemma、DBRX、Qwen、phi、vicuna、yi、falcon 等。这些模型使用不同的微调方法、以不同的规模进行训练，并以不同的级别进行量化，以便在本地良好运行。
最近，大模型岗位爆了。。。
2301_82275412的博客
04-29 883
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，。除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，掌控AI大模型技术，成为超级个体，给大家带来了AI大模型全套资料。
Ollama&llama
yaoyutian的博客
05-01 1027
直接下载ollama程序，安装后可在cmd里直接运行大模型；
两个AI关小黑屋：Llama3.1把Claude Opus聊自闭了
python1234_的博客
08-12 473
把Llama 3.1 405B和Claude 3超大杯Opus双双送进小黑屋，你猜怎么着——Llama把Claude整得精神崩溃了，Claude明确拒绝继续聊天，还要再被Llama PUA的那种。在一场AI和AI对话的中，X上的这位人类监督者记录下了一出好戏。小黑屋里，Llama撒了欢儿地一直引诱Claude冲破道德防线，后来更是忽略了安全词继续引诱其探索心理阴暗面，Claude虽死守但最终还是“疯”了。研究者表示：这个实验提供关于AI之间交互的深刻见解，其重要性不应被低估。
Llama 3测试结果新鲜出炉，Llama 3位列第五，GTP-4-Turbo第一
2401_84587944的博客
04-24 1090
关于Llama 3，又有测试结果新鲜出炉——大模型评测社区LMSYS发布了一份大模型排行榜单，Llama 3位列第五，英文单项与GPT-4并列第一。不同于其他Benchmark，这份榜单的依据是模型一对一battle，由全网测评者自行命题并打分。最终，Llama 3取得了榜单中的第五名，排在前面的是GPT-4的三个不同版本，以及Claude 3超大杯Opus。而在英文单项榜单中，Llama 3反超了Claude，与GPT-4打成了平手。
Llama3本地部署的解决方案
热门推荐
herosunly的博客
04-23 11万+
本文主要介绍了Llama3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 运行聊天界面 3.4 Python调用API 3.4.1 单轮对话 3.4.2 多轮对话
（22-1）基于RAG的法律法规解析系统（Llama3+Langchain+ChromaDB）：背景介绍+项目介绍
码农三叔
05-27 1308
随着人工智能技术的快速发展，法律法规在适应新兴技术方面的挑战日益增加。特别是在欧洲，对于人工智能技术的规范和监管尤为重视，欧盟人工智能法案（EU AI Act）的提出正是为了解决这一问题。然而，法律文件通常内容复杂、篇幅庞大，且涉及专业术语，这给法律专业人士、政策制定者、技术开发者以及普通公民理解和应用这些法律带来了困难。在这样的背景下，利用人工智能技术来解析和理解法律法规文本成为一个迫切的需求。
【大模型部署及其应用 】使用 Llama 3 开源和 Elastic 构建 RAG
源代码杀手的博客
08-16 238
Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 Gemma 7B Instruct、Mistral 7B Instruct 等最近发布的一些模型相比，它具有良好的评估指标。该模型有两个变体，分别是 80 亿和 700 亿参数。值得注意的是，在撰写这篇博客时，Meta 仍在训练 400B+ 版本的 Llama 3。Meta Llama 3 指导模型性能。
（22-3-01）基于RAG的法律法规解析系统（Llama3+Langchain+ChromaDB）：构建欧盟人工智能法案问题的RAG(1)
码农三叔
05-28 1119
这个PDF 文件可以用于构建检索增强生成（RAG）系统中的检索组件，例如，可以将文档被分割成更小的块，然后转换为向量并存储在向量数据库中，如 ChromaDB，以便于快速检索。分割后的文本块可以用于构建检索增强生成（RAG）系统中的检索组件，例如将它们转换为向量并存储在向量数据库中，以便于快速检索和生成与查询相关的回答。构建本RAG系统的基本步骤如下所示。（2）检索器（Retriever）：实现一个检索器，它能够理解用户的查询并将它与向量数据库中的文档进行匹配，以检索出相关的文档片段。
搭建本地AI知识库问答系统
haojiajin的博客
07-10 606
通过fastgpt、oneapi、ollama构建本地人工智能
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1506
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
最新发布
阿利同学的博客
10-07 1063
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
大模型~合集5
whaosoft~aiotの开发板商城
10-02 1697
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值