- 博客(7)
- 收藏
- 关注
RSS订阅原创 LMDeploy 量化部署 LLM&VLM实战--笔记
打开InternStudio平台，创建开发机。填写开发机名称；选择镜像；选择10% A100*1GPU；点击“立即创建”。排队等待一小段时间，点击“进入开发机”。点击左上角图标，切换为终端(Terminal)模式。
2024-04-12 07:04:32
874
原创 LMDeploy 量化部署 LLM&VLM实战--全部作业
一、基础作业部分 配置lmdeploy运行环境，下载internlm-chat-1.8b模型 以命令行方式与模型对话二、进阶作业 设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做） 以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。（优秀学员） 使用W4A1
2024-04-12 07:00:23
193
原创 在[茴香豆 Web 版](https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web)中创建自己领域的知识问答助手
", "茴香豆怎么部署到微信群", "今天天气怎么样？检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索。特点： 应对群聊这类复杂场景，解答用户问题的同时，不会消息泛滥 提出一套解答技术问题的算法 pipeline。","你好，介绍下自己"]'>./test_queries.json。RAG 技术的优势就是非参数化的模型调优，这里使用的仍然是基础模型。
2024-04-07 14:23:24
383
原创 轻松玩转书生·浦语大模型趣味 Demo
熟悉 huggingface 下载功能，使用 huggingface_hub python 包，下载 InternLM2-Chat-7B 的 config.json 文件到本地（需截图下载过程）使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事（需截图）# 从本地使用 ssh 连接 studio 端口。# 将下方端口号 38374 替换成自己的端口号。# 将下方端口号 40759 替换成自己的端口号。# 将下方端口号 40759 替换成自己的端口号。
2024-04-02 23:12:22
531
原创 使用 `InternLM2-Chat-1.8B` 模型生成 300 字的小故事&八戒-Chat-1.8B 模型 --测试
【代码】使用 `InternLM2-Chat-1.8B` 模型生成 300 字的小故事&八戒-Chat-1.8B 模型 --测试。
2024-04-01 21:16:49
104
原创 书生·浦语大模型全链路开源体系课程及 InternLM2 技术报告笔记
作为初学者，或者门外汉。哪怕里面的技术细节都被完整展开，着眼点还是怎么用和用来干嘛的层面。的预训练过程非常详细，强调了各种数据类型的准备，包括文本、代码和长上下文数据。作为新手，先看看摘要吧，以下是Bing翻译的结果。总结的不错，大概能搞清楚黑箱能干嘛。进行了进一步调整，该策略解决了人类偏好冲突和奖励黑客攻击。建模质量的提升，可以在相同数据的情况下有更好的表现。个基准的综合评估、长上下文建模和开放式主观评估方面。个基准的综合评估、长上下文建模和开放式主观评估方面。模型，我们为社区提供了对模型演变的见解。
2024-03-31 21:57:18
318
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人