LLMs
文章平均质量分 94
牛哥是阿牛
这个作者很懒,什么都没留下…
展开
-
LLMs-入门四:基于LLaMA-Efficient-Tuning对LLMs做微调
如何在Colab/JupyterLab等平台中运用自己的资料集微调(fine-tuning) Llama-2-7b 模型呢?源码地址:https://github.com/hiyouga/LLaMA-Efficient-Tuning本文以微调为示例进行介绍。下面先介绍一下微调主要参数的含义--fp16。原创 2023-10-07 16:13:32 · 849 阅读 · 1 评论 -
LLMs-入门二:基于google云端Colab部署Llama 2
由于不是所有GPU都支持深度计算(大部分的Macbook自带的显卡都不支持),同时显卡配置的高低也决定了计算力的大小,因此Colab最大的优势在于我们可以“借用”谷歌免费提供的GPU来进行深度学习。注:如果使用Colab没有购买硬件加速器,而使用免费的T4 GPU,在安装到该步骤后大概率会出现内存崩溃的情况。如果想继续使用,需要想办法购买Colab方案才可以。Colab提供5种硬件加速器,如果需要使用A100GPU、V100GPU需要单独付费,其他类型的硬件加速器效果不是很理想,适合的Colab方案如下。原创 2023-10-07 13:55:49 · 2420 阅读 · 2 评论 -
LLMs-入门三:基于JupyterLab部署Llama 2
我的电脑”→【右键】→选择“属性”进入到设置页面→选择“关于”,在该页面选择“高级系统设置”→进入到“系统属性”页面→选择【高级】页签→选择【环境变量】→在“系统变量”中配置Anaconda3,如下图所示。说明:如果在下载模型过程中无法正常完成下载,我们可以在HuggingFace上手动将相关内容下载下来,并且复制到本机执行过程中生成的默认的目录中。“开始菜单”→搜索“cmd” →选择【以管理员身份运行】→进入到命令窗口页面,在该页面输入如下命令并回车。下载该模型需要一些时间,如下图所示。原创 2023-10-07 15:41:05 · 729 阅读 · 2 评论 -
LLMs-入门一:【开胃菜】win环境搭建基于Llama 2的智能聊天机器人
网址https://huggingface.co/Llama 2模型共有3种,如下图所示7B:7亿参数的模型(可不用GPU,CPU也可以跑起来)。本文档就以该模型为例13B:13亿参数的模型70B:70亿参数的模型。原创 2023-09-22 14:17:20 · 1141 阅读 · 1 评论