LLM相关的一些调研

最新推荐文章于 2024-09-19 21:18:54 发布
最新推荐文章于 2024-09-19 21:18:54 发布
阅读量409 收藏 1
点赞数 1
文章标签： 人工智能 大模型 模型部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37210821/article/details/131405395
版权

Prompt Engine

  • 可以参考该项目，该项目提供关于提示词书写的规则。由openai以及吴恩达完成。
    https://github.com/datawhalechina/prompt-engineering-for-developers
  • 由于目前chatgpt 无法直接在国内访问，推荐在claude on slack上尝试。
  • 关于claude api
    https://learn.microsoft.com/en-us/azure/cognitive-services/openai/concepts/advanced-prompt-engineering?pivots=programming-language-chat-completions#specifying-the-output-structure

大模型的涌现能力

https://mp.weixin.qq.com/s/L_dOMtbfhv4SdA_nBaiIog

Finetine

  • LoRA
    https://mp.weixin.qq.com/s/5uFIGw7TBHJA_Q26REG4OA
  • https://github.com/Facico/Chinese-Vicuna/tree/master
  • https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM
  • https://github.com/OptimalScale/LMFlow
  • https://github.com/LC1332/Luotuo-Chinese-LLM#quickstart
  • https://github.com/lm-sys/FastChat
  • https://github.com/facebookresearch/llama
  • https://github.com/tatsu-lab/stanford_alpaca

Deployment

https://github.com/THUDM/ChatGLM-6B

jittor

https://github.com/Jittor/JittorLLMs

Langchain

https://www.bilibili.com/video/BV1GL411e7K4/?spm_id_from=333.999.0.0&vd_source=390ba7830cbb1bbb68ee1b96cfd3f787
https://github.com/hwchase17/langchain

Llama-index

https://github.com/jerryjliu/llama_index

MNN

  • https://github.com/wangzhaode/ChatGLM-MNN

  • https://github.com/IST-DASLab/gptq

  • https://github.com/ggerganov/llama.cpp

  • https://github.com/ymcui/Chinese-LLaMA-Alpaca

  • https://github.com/MegEngine/InferLLM

  • https://github.com/qwopqwop200/GPTQ-for-LLaMa

  • https://github.com/tpoisonooo/llama.onnx

Q&A

  • instruction数据
    从Chinese-Vicuna 提到的使用了数据集GuanacoDataset 可以大概看出来这种格式
    在这里插入图片描述

本地使用InferLLM 项目去推理模型

  • 总体比较简洁，可以直接查看官方readme
    https://github.com/MegEngine/InferLLM/blob/main/README_Chinese.md
#指定模型文件，指定使用的线程数量
./alpaca -m ../models/chinese-alpaca-7b-q4.bin -t 8

在这里插入图片描述

  • 资源消耗
    在这里插入图片描述

使用llama.cpp部署

  • 安装openblas
git clone https://github.com/xianyi/OpenBLAS
cd OpenBLAS/
mkdir build
cd build/
cmake ../
cmake --build ./ -j8
cmake --install ./
  • 编译llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
mkdir build
cd build
cmake .. -DLLAMA_OPENBLAS=ON
cmake --build . --config Release


#使用intel mkl加速
mkdir build
cd build
cmake .. -DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=Intel10_64lp -DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx
cmake --build . -config Release

https://github.com/ggerganov/llama.cpp

  • 推理模型Chinese-LLaMA-Alpaca
    https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp%E9%87%8F%E5%8C%96%E9%83%A8%E7%BD%B2
  • 原始llama模型下载 https://zhuanlan.zhihu.com/p/614118339
    • 合并模型 https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E6%89%8B%E5%8A%A8%E6%A8%A1%E5%9E%8B%E5%90%88%E5%B9%B6%E4%B8%8E%E8%BD%AC%E6%8D%A2
python ~/anaconda3/envs/chinese_llama_alpaca/lib/python3.10/site-packages/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir ~/workspace/pyllama_data/  --model_size 7B --output_dir ~/workspace/llama_7B_hf

# 注意添加手动绝对路径
python scripts/merge_llama_with_chinese_lora.py --base_model /home/kjs-server/workspace/llama_7B_hf --lora_model /home/kjs-server/workspace/chinese_llama_plus_lora_7b,/home/kjs-server/workspace/chinese_alpaca_plus_lora_7b --output_type pth --output_dir ~/workspace/merge_dir
  • 模型量化
    https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp%E9%87%8F%E5%8C%96%E9%83%A8%E7%BD%B2
  • 执行模型推理
./main -m ../../models/ggml-model-f16.bin \
       --color \
       -f ../../prompts/alpaca.txt \
       --ctx_size 2048 \
       -n -1 \
       -ins -b 256 \
       --top_k 10000 \
       --temp 0.2 \
       --repeat_penalty 1.1 \
       -t 96

MNN推理chatglm-6B

  • 下载相关的项目，编译完成，参考项目readme
    https://github.com/wangzhaode/ChatGLM-MNN/blob/master/README.md
  • 模型下载
# 切换到指定目录
cd ChatGLM-MNN/resource/models
# 不使用代理，直接下载
./download_models.sh int4
  • 执行demo程序
./cli_demo -d int4

  • 目前运行存在问题， Segmentation fault -> 待解决（rk3588）
    在这里插入图片描述

  • 最终还是在一台x86PC上面完成模型的部署，分别在CPU和GPU上面的推理速度

  • CPU

    • Intel® Xeon® Platinum 8160 CPU @ 2.10GHz
    • 启动时间 ~30s，速度2 s/token per

  • GPU

    • NVIDIA GeForce RTX 3090
    • 启动时间，无明显的延迟， 速度

JittorLLMs

  • 该项目目前不是一个聊天机器人的应用
  • 在CPU在同样存在速度比较慢，GPU上面速度比较快。

关于其中配置参数的理解

在这里插入图片描述
dimension
n heads
n layers
learning rate
batch size
n tokens

benchmark

https://github.com/SJTU-LIT/ceval/blob/main/README_zh.md
https://mp.weixin.qq.com/s/P0ohd5DpwJOkL8DFVC4qoA

APP

https://github.com/csunny/DB-GPT/tree/main
https://github.com/OptimalScale/DetGPT
https://github.com/oobabooga/text-generation-webui

transformer

  • https://blog.csdn.net/yujianmin1990/article/details/85221271

LLM推理中的参数理解

  • Top-p:模型只考虑总概率分布的前 p% 的 token,并从这些 token 中生成输出。这可以确保模型不会过于依赖高概率的 token。
  • Top-k:模型只考虑概率最高的前 k 个 token,并从这些 token 中生成输出。这也可以提高模型输出的多样性。

transformer 模型的解码主要有以下几种方式:1. Greedy search:每次只选取概率最高的token作为输出,然后继续解码。优点是效率高,缺点是无法生成较长且质量高的序列。常用于实时场景。2. Beam search:每次考虑前K个最可能的token,选取其中概率最高的一个作为输出,然后继续解码。相比greedy search,可以生成更长更高质量的序列,但计算成本也更高。在transformer中很常用。3. Sampling:根据token的概率分布随机采样一个token作为输出。可以增强输出的多样性,缺点是序列的连贯性较差。4. Top-K/Top-P sampling:在采样时只考虑概率最高的前K个或总概率分布的前P%的token,然后在这些token中采样。相比于常规sampling,可以提高序列的连贯性。5. Beam sampling:先使用beam search生成多个候选序列,然后从中随机采样一个序列作为最终输出。集beam search和sampling的优点,既可以生成较长高质量的序列,又可以增强输出的多样性。6. Nucleus sampling:类似于Top-P sampling,但会对高概率的token施加更高的采样概率,低概率的token采样概率更低。可以看作是Top-P采样和常规采样的结合。除了上述几种标准化解码方式,许多研究工作也会基于这些方式提出新的变体,以期取得更好的效果。综上,解码方式的选择主要根据实际任务的需求来确定,需要在生成序列的质量、多样性和计算成本之间进行权衡。对于高质量长序列的生成,Beam Search是比较常用的方式。而在需要实时响应或强调输出多样性的任务中,Sampling相关的方法会更合适

使用webui 运行llama.cpp

  • 运行chinese-alpaca-7B 16bit cpu(x86)
#激活虚拟环境
conda activate textgen
cd ~/workspace/oobabooga_linux/text-generation-webui
python server.py
  • 推理速度 -> 还是需要一个GPU来完成推理
    在这里插入图片描述
TuT_today
关注
编码大模型系列：Meta创新的“代码编译优化”的LLM
鲁班模锤
06-30 1225
LLM Compiler建立在Code Llama的基础上，增强了对编译器中间表示 (IR)、汇编语言和优化技术的理解。该模型已在546B个LLVM-IR和汇编代码的庞大语料库上进行了训练，并经过了指令微调。
OnPrem.LLM：一个轻量级 Python 库，用于使用私有数据运行本地大型语言模型
FrenzyTechAI的博客
10-08 900
OnPrem.LLM是一个简单的 Python 库，用于使用非公开数据运行本地大型语言模型。它默认使用的 7B 参数模型，你也可以通过提供使用默认的 13B 模型。你还可以提供不同模型的 URL。OnPrem.LLM 主要受到privateGPT项目的启发，旨在帮助将本地 LLM 集成到实际应用程序中。"""
Agent 系列之 LLM Compiler框架解析
letsgogo7的博客
04-28 1826
An LLM Compiler for Parallel Function Calling论文详细介绍了一种名为LLMCompiler的新方法，用于在语言模型中并行执行多个函数调用，以提高效率和准确性。
探索SqueezeAILab的LLMCompiler：高效模型编译器的奥秘
gitblog_00070的博客
04-25 349
探索SqueezeAILab的LLMCompiler：高效模型编译器的奥秘 LLMCompilerLLMCompiler: An LLM Compiler for Parallel Function Calling项目地址:https://gitcode.com/gh_mirrors/ll/LLMCompiler 项目简介 是由 SqueezeAILab 开发的一个开源项目，旨在为深度学习模型提...
GCC简介
weixin_30656145的博客
12-31 231
本节学习GNU推出的Linux系统下C编译器----gcc，主要介绍这种编译器的基本原理和使用方法，以及编译过程中所产生的错误的原因及对策。 gcc简介 Linux系统下的gcc（GNU C Compiler）是GNU推出的功能强大、性能优越的多平台编译器，是GNU的代表作品之一。gcc是可以在多种硬体平台上编译出可执行程序的超级编译器，其执行效率与...
LLM调研笔记
Enternalwiser的博客
12-25 281
LLM小白调研笔记
LLM微调技术调研
人工智能讲师分享前沿技术
07-25 477
之类的专业问题，微调前的模型回答可能相对宽泛，比如多喝水，症状严重时注意看医生等，但微调后的模型会基于与用户的多轮对话上下文，给出更精准、更专业的回答，经过医疗数据集微调后的模型，在面对医疗专业知识领域时，将具备更优的性能。模型微调是一个循序渐进、不断优化迭代的系统工程，一般需要经过模型选取、任务定义、数据准备、策略选择、模型配置、模型微调、结果评估、优化迭代、模型测试、模型部署等流程，通过系统化、流程化的模型微调，将输出令人满意的结果。Fine-Tuning指的是全量参数微调，训练时间成本高。
LLM | 一些开源的AI代码生成模型调研及总结【20240130更新】
weixin_44649780的博客
01-30 3277
本文主要介绍主流代码生成模型，总结了基于代码生成的开源大语言模型，按照时间顺序排列。
LLM Agents调研
weixin_44986037的博客
04-09 1048
llm agent
AICongyin-LLM技术交流群调研资料汇总_AICongyin-LLM.github.io.zip
08-31
AICongyin-LLM技术交流群调研资料汇总_AICongyin-LLM.github.io
如何用LLM生成基金经理调研报告并构建标签体系？-国金证券-智能化选基系列之四-20230821.pdf
08-22
如何用LLM生成基金经理调研报告并构建标签体系？-国金证券-智能化选基系列之四-20230821.pdf
LLM系列(2)：开源LLM Promp调优之道进阶指南
丨汀、的博客
04-30 573
LLM系列(2)：开源LLM Promp调优之道进阶指南
LLM大模型综述
热门推荐
zh515858237的专栏
01-10 2万+
LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。
【AI大模型】Kimi API大模型接口实现
qq_25888559的博客
09-15 1432
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
使用c#制作一个小型桌面程序
qq_44691564的博客
09-14 2063
创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后 系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成 就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。
开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群活动中的应用与时机选择
专注MarTech应用研究与实施方案
09-17 969
本文探讨了开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群经济中的重要性，着重分析了如何借助该小程序适时举办大型活动以维持和引爆社群活跃度。通过对活动时机选择的研究，强调了针对社群用户量身定制活动时机的必要性，以赢得用户的高度参与。
介绍一下常用的激活函数？
最新发布
GamBleout的博客
09-19 561
死神经元：当神经网络中的某些神经元在训练过程中始终不被激活，即其输出值始终接近于零，这些神经元就被称为“死神经元”。与Sigmoid函数类似，也存在梯度消失问题，但相对于Sigmoid函数，其输出范围更大，有利于梯度的传播。Leaky ReLU是ReLU的一个变体，在输入为负时给予一个小的非零斜率，避免了“死神经元”问题。在正区间内解决了梯度消失问题，但在负区间内梯度为0，可能导致“死神经元”问题。将一组数值转换为概率分布，即所有输出的和为1，且每个输出都在(0,1)之间。当输入为负时，输出为0。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值