白嫖一个属于你自己的LLM私有大模型

最新推荐文章于 2024-09-28 11:26:44 发布
最新推荐文章于 2024-09-28 11:26:44 发布
阅读量962 收藏 23
点赞数 9
文章标签： 人工智能 产品经理 RAG prompt 大数据 大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/140261130
版权

最近国内的大模型可谓是遍地开花，你瞧瞧：

这么火，我也想搞一个试试，于是就有了这篇文章！对，你没看错，就是白嫖。

毕竟人家清华都开源了，哈哈哈hoho~~

先把开源地址贴一下，老铁们可以自行去瞧一瞧：

https://github.com/THUDM/ChatGLM-6B
https://huggingface.co/THUDM/chatglm-6b

ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。
结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。
经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

最重要的一点，人家遵循Apache-2.0协议。

下面开干吧！

准备机器

毕竟是要搭建可以跑起来的环境，机器肯定是必不可少的。好在阿里云有白嫖的使用机器。

  1. 进去阿里云免费试用活动页面 https://free.aliyun.com/

  2. 申请试用PAI-DSW资源，点击页面上的【立即试用】就可以了。（我因为已经试用了，所以显示的是“已试用”）

  3. 参考试用教程创建PAI平台示例。或者接着往下看

  4. 在阿里云页面搜索PAI，点击立即开通，然后进入到PAI控制台。

    开通的时候，有些可选的资源（比如NAS存储等），我因为没有，所以都没选。

  5. 进入控制台后，选择创建DSW实例

创建的时候，资源选择GPU资源，然后选择 支持资源包抵扣的那款 ecs.gn6v-c8g1.2xlarge

如果资源组下拉框是空白的，那么你需要在 上图左侧【工作空间详情】菜单，配置一下计算资源。

配置的按钮在工作空间详情页面右边【资源管理】，选择public-cluster 即可

镜像选择pytorch1.12，点击创建完成，机器就白嫖好了。

下载大模型

前面实例创建完之后，点击【打开】，会进入到机器的web控制台（Data Science Workshop）。

在这里，可以在Terminal里面操作了。

  1. 先执行安装git相关命令

    sudo apt-get update

    sudo apt-get install git-lfs

  2. 下载模型仓库（因为模型比较大，所以下载下来再执行方便些）

    git clone git@hf.co:THUDM/chatglm-6b

  3. 下载模型运行代码

    git clone https://github.com/THUDM/ChatGLM-6B.git

部署启动

部署前修改源码

因为我们已经把模型下载下来了，部署前，需要把代码中的模型路径改成你自己的。

比如我们的模型下载在/mnt/workspace/chatglm-6b，我们就需要把 ChatGLM-6B 下的两个文件路径都改一下：

  • cli_demo.py：命令行交互界面
  • web_demo.py：Web图形交互界面

启动

进入到ChatGLM-6B目录，执行启动命令即可

python web_demo.py

命令执行成功，会提示。就表示启动成功了。

Running on local URL: http://127.0.0.1:7860

To create a public link, set share=True in launch().

如果想外网访问，就还需要改一点源码。在web_demo.py文件最末尾，设置share=True

修改前：demo.queue().launch(share=False, inbrowser=True)

修改后：demo.queue().launch(share=True, inbrowser=True)

改完后，保存，再次启动，会打印出Running on public URL:XXXX，通过这个链接即可打开体验。

启动中如果遇到缺少一些module，可通过【pip install xxx】进行安装，安装完之后再执行启动命令

使用效果

使用效果的话，只能说还有相当长的路需要走。

答的是有板有眼的！但是，实际上…

我把完整的代码贴在下面，大家可自行体验评论：

import java.util.concurrent.Thread;
import java.util.concurrent.Executors;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors.newSingleThreadExecutor();
import java.util.concurrent.Future;
public class TwoThreads交替打印String {
    public static void main(String[] args) {
        int numThreads = 2;
        String str = "Hello, World!";
        int index = 0;
        ExecutorService executor = Executors.newSingleThreadExecutor();
        List<Future<void>> futures = new ArrayList<>();
        for (int i = 0; i < numThreads; i++) {
            int size = str.length();
            int start = index * size + i;
            int end = start + size;
            int buffer = start * size + size;
            // 打印前一个线程的输出
            futures.add(executor.submit(() -> {
                Thread thread = new Thread(new MyThread(str, buffer));
                thread.start();
            }));
            // 打印当前线程的输出
            futures.add(executor.submit(() -> {
                Thread thread = new Thread(new MyThread(str, buffer));
                thread.start();
            }));
            // 等待当前线程完成
            thread.join();
            // 打印下一个线程的输出
            futures.add(executor.submit(() -> {
                Thread thread = new Thread(new MyThread(str, buffer));
                thread.start();
            }));
            index += size;
        }
        // 打印所有线程的输出
        for (Future<void> future : futures) {
            future.get();
        }
        executor.shutdown();
    }
    private static class MyThread implements Runnable {
        private final String str;
        private final int buffer;
        public MyThread(String str, int buffer) {
            this.str = str;
            this.buffer = buffer;
        }
        @Override
        public void run() {
            for (int i = 0; i < buffer; i++) {
                System.out.print(str.charAt(i) + " ");
            }
        }
    }
}

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

AI小白龙*
关注
零基础，零成本，部署一个属于你的大模型
蛮三刀酱
04-22 7920
因此，本文是为AI初学者们（包括我自己）编写的保姆级大型模型部署和使用指南。现在正值阿里云免费试用计划，我们可以不花一分钱就可以体验部署自己的大型模型的乐趣。
动动小手搭建私人大模型人工智能私人助理
二赛君
08-13 1440
去年12月OpenAI公司的ChatGPT3.5彻底引爆人工智能圈，今年国内大公司争相进入大模型的赛道，打造自己的大模型。前些日子的世界人工智能大会上，可谓是百模大战，热闹纷呈。ChatGPT的出现，的确给人们带来了巨大的惊喜，可以说让人工智能的革命性事件，它的能力和威力让人瞠目结舌。关于它的优点这里不在赘述，关于如何更好的使用它，之前写过一篇博文，，感兴趣的可以查看。
10个免费资源让你从大模型小白到大神！（LLM）
z551646的博客
09-28 1109
发现10个免费学习LLM的资源了解每个资源的优势找到最适合你学习风格的资源获取涵盖LLM基础知识的材料通过免费课程和材料探索LLM的高级主题Cohere的LLM大学Hugging Face NLP课程MIT OpenCourseWare:高级自然语言处理YouTube频道:SentdexFreeCodeCamp的NLP教程Analytics Vidhya博客LLMOpsLLM训练营Google Cloud的大语言模型入门微调大语言模型。
浅谈大模型私有化+精调：面向垂直行业与特定场景之需
zhishi0000的博客
08-14 779
大模型私有化（Model Private Deployment）指的是将预训练的大型人工智能模型（如GPT、BERT等）部署到企业自己的硬件环境或私有云平台上。与公有云服务或模型即服务（Model-as-a-Service）相比，私有化部署能够给企业带来更高级别的数据安全性和自主控制能力。对数据隐私和安全要求高、需要自主控制AI模型运行环境的企业而言，或者在特定地理位置因法律法规限制不能使用公有云服务的情况下，这种需求是确实存在的。
搭建本地私有AI大模型智能体
2401_85343303的博客
06-19 1250
搭建本地私有AI大模型智能体工作流涉及使用Ollama和FastGPT这两个工具。这里简要介绍它们的基本概念和如何结合起来建立工作流：
一个基于 Java 的 LLM（大语言模型）应用开发框架
06-29
Java大语言模型应用开发框架是现代信息技术领域中的一个重要组成部分，特别是在人工智能和自然语言处理(NLP)的范畴内。这个框架的出现，使得开发者能够利用Java这一广泛使用的编程语言，更高效地构建和部署LLM（大...
一个基于 Java 的 LLM（大语言模型）应用开发（及编排）框架
最新发布
09-28
一个基于 Java 的 LLM（大语言模型）应用开发（及编排）框架。
最全的开源 LLM （大语言模型）整理.zip
09-04
本资源包“最全的开源 LLM （大语言模型）整理.zip”是关于开源大语言模型的一个综合集合，涵盖了多个知名的项目，帮助开发者和研究人员更好地了解和利用这些先进的技术。 【描述】: 这个压缩包包含了一个名为...
一个基于 Python 的 LLM (大语言模型) 快速推理和服务框架，GPU利用率大幅提升
08-05
一个基于 Python 的 LLM (大语言模型) 推理和服务框架，以其轻量级设计、易于扩展和高速性能而著称。 利用了众多备受推崇的开源实现的优势，包括但不限于 FasterTransformer、TGI、 VLLM 和FlashAttention - 三进程...
部署私有化大模型ollama，造一个私人小秘书
python1234567_的博客
08-15 822
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。在现在世面有众多的大模型，如果能训练一个私有化的大模型帮助小型公司和个人搭建知识库，定会提高信息检索的效率，ollama框架就是如此。
私有大模型、公有大模型介绍及区别
yuanlaile的博客
09-24 458
私有大模型和公有大模型的主要区别在于部署方式、数据安全性、定制化程度及成本效益。私有大模型由企业定制开发并部署在企业内部或私有云上，确保数据安全性和隐私保护，同时提供深度定制服务，但开发和维护成本较高。而公有大模型由大型科技公司或研究机构在公有云平台上提供服务，具有较高的通用性和成本效益，但可能涉及数据安全和隐私问题，且难以满足特定企业的个性化需求。企业在选择时需综合考虑业务需求、成本预算和数据安全性等因素。
公有大模型和私有大模型
大连赵哥的博客
06-27 442
公有大模型和私有大模型
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型
python123456_的博客
08-16 2472
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！
目前超火的LLM，也能在您的私有数据上部署问答系统
Warmer_Sweeter
03-05 1243
介绍本文将探讨如何利用语言模型和文本分块构建一个问答系统。我们将使用PyPDF2、langchain、Hugging Face和FAISS等工具从PDF中提取文本，将其处理成可管理的块，创建嵌入并利用这些嵌入进行高效的基于检索的问答。什么是LLM？LLM代表“语言模型”，它是一类用于自然语言处理（NLP）任务的人工智能模型。语言模型被设计用于理解和生成人类语言文本。它们具有预测句子中下一个词、完成...
学习LLM必备，这5个免费的资源让你轻松掌握LLM的精髓！
Everly_的博客
07-31 1148
语言模型（LLM）已经彻底改变了自然语言处理（NLP）领域，使机器能够理解和生成类似人类的文本。本指南是 5 个免费资源的精选，可帮助您进一步了解 LLM 和 NLP。我亲自看过这些内容，并强烈推荐给任何想了解 LLM 的人。1、本课程将教您使用来自Hugging Face生态系统的库（Transformers，Datasets，🤗 Tokenizers 🤗和🤗 Accelerate）🤗以及Hugging Face Hub的自然语言处理（NLP）。它是完全免费的，没有广告。
从0到1训练私有大模型技能与应用实现
DAMOXINGHAITAI的博客
09-25 1735
LoRA，英文全称 Low-Rank Adaptation of Large Language Models（中文为大语言模型的低阶适应）。这是微软的研究人员为了解决大语言模型微调而开发的一项技术，其 github 地址为 https://github.com/microsoft/LoRA ，当前已经得到HuggingFace 的 PEFT库 https://github.com/huggingface/peft 的支持。对于大语音模型来说，其参数量非常多。
可能是最全的开源 LLM （大语言模型）整理
2301_82275412的博客
05-09 6667
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓 “语言模型”，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
局域网访问Satble-Diffusion-WebUI
a931674931的博客
07-05 7535
本机可以使用ip:8000或者127.0.0.1:8000（8000端口是上面修改过的，默认是7860）进入sd。使用到了WEBUI模块。在launch.py的同级目录下，找到webui.py。在webui里看到了熟悉的0.0.0.0地址。让我们看看cmd_opts到底是个啥，在webui.py的同级目录下找到modules文件夹下的shared.py。寻思着要是能有共享连接，也不用天天对着电脑了，手机、IPAD都能用。哇欸，所有可选参数都在这文件里了。根据提示进入到launch.py文件。
LLM大语言模型在C#中的应用实例
资源摘要信息:"Pleisto.Flappy LawTest Example"是一个包含了LLM（Large Language Model，大型语言模型）和C#编程语言的项目示例，标题中的"Pleisto"可能是指代项目的名称或者是相关的技术术语。"Flappy"可能是指代...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值