【深度学习,NLP,LM】Alpaca-Lora ,Colab上部署与调用

【深度学习,NLP,LM】Alpaca-Lora ,Colab上部署与调用

前言

安装环境

  • 首先按照需要安装相应依赖
!pip install sentencepiece
%cd /content/drive/MyDrive/Repo/alpaca-lora-main
!pip install -r requirements.txt
  • 修改 -> 笔记本设置 中修改硬件加速器为 GPU,否则后续运行到一半就寄了…
  • 稍微修改下代码
    上方设置 share=True,由于跑完后会出现一个本地连接进行测试,而在colab运行的本地连接在本机上是打不开的,需要设置开启公共链接。
    下方为测试代码,查看在代码中调用接口是否成功。
    在这里插入图片描述

运行generate代码

  • 由于我不需要进行训练,直接拉下来默认训练后的模型即可,即只用调用 generate.py
    需要设置相应模型参数,base_model 是必须参数。
%cd /content/drive/MyDrive/Repo/alpaca-lora-main
!python generate.py \
    --load_8bit \
    --base_model 'decapoda-research/llama-7b-hf' \
    --lora_weights 'tloen/alpaca-lora-7b'
  • 运行时可以查看资源消耗是否正常
    在这里插入图片描述
  • 运行完成后会掉出URL,点击打开。
    在这里插入图片描述
  • 进行询问测试,回答还可以。(不大支持中文QA)
    在这里插入图片描述
  • 但是可以看到跑完了之后甚至没有跑那行 print("now2"),所以我选择注释掉启动启动器。
    在这里插入图片描述
  • 再次运行,发现会运行上述代码,虽然有丢丢慢,但是还行。
    在这里插入图片描述
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值