- 博客(6)
- 收藏
- 关注
RSS订阅原创 LMDeploy 的量化和部署
定义将训练好的模型在特定软硬件环境中启动的过程，使模型能够接收输入并返回预测结果为了满足性能和效率的需求，常常需要对模型进行优化，例如模型压缩和硬件加速产品形态云端、边缘计算端、移动端计算设备CPU、GPU、NPU、TPU 等。
2024-01-17 11:22:11
910
原创 XTuner 大模型单卡低成本微调实战
LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等指令跟随微调使用场景:让模型学会对话模板,根据人类指令进行对话训练数据:高质量的对话、问答数据。
2024-01-14 11:59:06
396
原创 浦语大模型趣味 Demo课程学习及实战应用
激活环境后实现运行cli_demo.py文件，可以直接在终端出使用模型，如下图所示也可以通过以下指令映射在本地，通过网站lagent-web进行访问，指令操作如下图：打开网站后，可以进行提问，结果如下图所示：通过以下指令下载huggingface结果如下图所示：通过镜像网站hf-mirror.com - Huggingface 镜像站下载internlm-20b模型，下载成功如下图所示。使用 InternStudio 中的 A100(1/4) 机器、InternLM-Chat-7B 模型和
2024-01-06 23:17:00
397
原创 书生·浦语大模型
万卷经过语言筛选、文本提取、格式标准化、数据过滤和清洗（基于规则和模型)、多尺度去重和数据质量评估等精细数据处理环节，能够很好地适应后续模型训练的要求。万卷包含文本、图像和视频等多模态数据，涵盖科技、文学、媒体、教育和法律等多个领域。在万卷的构建过程中，研究人员注重将数据内容与主流中国价值观进行对齐，并通过算法和人工评估的结合提高语料库的纯净度。使用场景:让模型学会理解和遵循各种指令，或者注入少量领域知识训练数据:高质量的对话、问答数据。现在的通用模型，一个大模型应对多种任务，多种模态。
2024-01-04 20:05:36
868
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人