用google colab t4部署phi2（公网可访问）

已于 2024-01-08 19:22:03 修改
阅读量1.1k 收藏 8
点赞数 11
文章标签： 开发语言 深度学习 pytorch 语言模型
于 2024-01-08 17:54:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011183517/article/details/135463081
版权
本文介绍了如何在GoogleColab中配置GPU，通过ngrok获取authtoken，安装必要的包，运行推理服务生成公网地址，并使用client.py调用服务，最后展示如何将服务转换为Gradio界面版，以实现交互式问题解答。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最低0.47元/天 解锁文章
880露露088
关注
如何使用谷歌colab
weixin_43178406的博客
03-18 4026
本文主要介绍了如何使用谷歌colab的实战方案，希望能对大家有所帮助。 文章目录 1. 背景描述 2. colab实战方案
Phi-2小语言模型QLoRA微调教程
qq_20144897的博客
01-09 2929
微软发布的Phi-2模型在kaggle平台上的QLoRa微调教程
最详细的谷歌Colab白嫖·部署Deepseek
最新发布
kuokay的博客
03-03 863
DeepSeek是这段时间最热门的话题之一，其蒸馏模型可以实现低成本而高质量的推理，使得我们现在可以在本地小型化的硬件上也用上大模型这一AI利器。本文主要介绍通过Colab来部署DeepSeek R1模型的方法。使用Ngrok穿透让本地Chatbox可以调用ollama Deepseek api。
【colab ngrok streamlit 搭建公网访问port 】
放飞自我的coder
10-24 458
​ 1.colab普通用户没有命令行，怎么启动streamlit 2.如果进行内网穿透，让公网可访问（需要注册ngrok） ​
LLM实践-在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理
SHIDACSDN的博客
10-06 2023
一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_stream_generator !pip install transformers !pip ...
不使用 Docker 构建 Triton 服务器并在 Google Colab 平台上部署 HuggingFace 模型
geeksoarsky的博客
04-06 2331
Colab 环境缺少 tensorrt-8.6.1，cudnn9-cuda-12，triton-server 版本应该选择 r23.10。克隆 python_backend，因为我们要使用 python_backend 中的 triton_python_backend_utils。部署非常能打的文生图大模型。
远程服务器的visdom显示（外网访问）
qq_34907927的博客
02-20 1420
在使用远端服务器进行计算时，往往需要实时查看中间结果，借助ngrok可以比较方便的实现该功能，亲测有效！以google colab为例，代码如下： 安装ngrok !wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip !unzip ngrok-stable-linux-amd64.zip 打开端口并生成链接 get_ipython().system_raw('python3 -m visdom.server -por
利用谷歌colab免费部署AutoGpt
weixin_41668657的博客
04-15 974
Colaboratory 简称“Colab”，是Google Research 团队开发的一款产品。 在Colab 中，任何人都可以通过浏览器编写和执行任意Python 代码。 它尤其适合机器学习、数据分析和教育目的。 从技术上来说，Colab 是一种托管式Jupyter 笔记本服务
谷歌 colab_如何在Google Colab中使用gpt 2
weixin_26731327的博客
10-11 1361
谷歌 colabFor those who do not have access to the GPT-3 API it is important to remember we can still experiment with and use GPT-2!对于那些无法访问GPT-3 API的人，请务必记住我们仍然可以尝试并使用GPT-2！ For everyone who is not fami...
利用colab部署chatglm
qq_36437991的博客
03-20 340
利用colab部署chatglm
Colab使用tensorboard
leonardohaig的博客
05-08 8301
Colab使用tensorboard 在使用google提供的colab训练目标检测模型过程中，需要使用tensorboard命令分析训练效果，结果发现直接在colab中使用tensorboard --logdir后给出的网址并不能打开，经过搜索发现可以借助Ngrok工具，在colab中使用tensorboard,现将过程记录如下： 1.在colab中下载安装Ngrok 在下载前，首先切换需要挂载...
内网穿透 | 推荐两个免费的内网穿透工具
热门推荐
逐梦苍穹的博客
02-13 2万+
本文介绍两个免费的内网穿透的工具：ngrok和cpolar
Ngrok免费实现内网穿透
再小的帆也能远航，把分享变成一种习惯
02-06 7046
内网穿透是为了让本地局域网的跑的应用可以被外网访问。实现内网穿透的工具很多，基本上都是收费的，今天我们就来说一说这免费的内网穿透工具ngrok
使用VS code通过SSH连接Google Colab
HXY
11-13 5924
I. 利用Ngrok通过SSH连接Colab 1. Colab端 1.1. 安装ngrok，启动ssh服务。 import random, string, urllib.request, json, getpass #Generate root password password = ''.join(random.choice(string.ascii_letters + string.digits) for i in range(20)) #Download ngrok ! wget -q -c
ngrok内网穿透windows环境设置
weixin_44894663的博客
11-03 385
登录ngrok获取access token: ngrok.com --> [Your Authtoken] --> [copy]ngrok 错误 ERR_NGROK_108 修改ngrok.yml中version由2改为1。ngrok下载: https://ngrok.com/download。为在公网下可访问地址，每次都不一样。windows环境执行。
SpringBoot整合微信支付
qq_43372633的博客
05-17 3557
付款码支付：用户展示微信钱包内的“付款码”给商家，商家扫描后直接完成支付，适用于线下面对面收银的场景。JSAPI支付：1.线下场所：商户展示一个支付二维码，用户使用微信扫描二维码后，输入需要支付的金额，完成支付。2.公众号场景：用户在微信内进入商家公众号，打开某个页面，选择某个产品，完成支付。3.PC网站场景：在网站中展示二维码，用户使用微信扫描二维码，输入需要支付的金额，完成支付。特点：用户在客户端输入支付金额。小程序支付：在微信小程序平台内实现支付的功能。
使用 LoRA 在 vi​​ggo 数据集上微调 Microsoft phi-2 小语言模型
gongdiwudu的专栏
02-04 3549
接下来，我们将看到有关如何使用 HuggingFace 中的 phi-2 进行提示的分步 Python 代码，然后我们将在 veggo 数据集上对其进行微调。我使用 T4 GPU 在 Google Colab 免费层上运行了此代码笔记本。
ngrok的使用(超详细)
0x8g1T9E-
08-30 3128
1、ngrok简介 百度百科：ngrok 是一个反向代理，通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。ngrok 可捕获和分析所有通道上的流量，便于后期分析和重放. 啥玩意… 1 其实说白了就是你写一个项目，在PC上完美运行，想在手机端访问，只能让手机电脑处于同一局域网内，但是这个技术可以把你的本地IP和端口（例如：localhost:8080）转换为www.baidu.com一样的万网，这样，即使电脑与手机不是在同一局域网内也可以无缝访问，（厉害吧！）。 很早我就想了解有没..
【小白保姆级教程】教你用ngrok实现内网穿透
神的博客
02-08 3634
我们自己开发的一个SpringBoot项目，在本地启动后，最常见的是使用http://localhost:8080/xxx来进行本地访问，或者通过http://局域网ip地址:8080/xxx来进行访问。上面这两种形式可以在本地或者局域网内访问，但并不能在公网上访问。如果我们需要在答辩上演示，或者只是将项目给朋友使用一下(比如使用内网穿透将数据库放在公网上，然后可以远程访问数据库），租用一个服务器有点贵，也比较麻烦，那我们可以使用一些的小工具实现项目在公网上访问。
colab T4显卡
05-16
Colab是Google提供的一项免费的云端计算服务，其中T4显卡是Colab中提供的一种GPU加速器，可用于进行深度学习等计算密集型任务。具体来说，T4是一款基于Turing架构的GPU，拥有16GB GDDR6显存和320个张量核心，其性能与市面上常见的高端显卡相当，但其价格相对较为亲民，是进行深度学习等任务的不错选择。在Colab中使用T4显卡，用户可以免费获得GPU计算资源，同时也可以使用Colab提供的Jupyter Notebook等工具进行代码开发和实验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值