- 博客(6)
- 收藏
- 关注
RSS订阅原创 书生·浦语大模型实战营第六课笔记
OpenCompass的主要流程就包含在`Run.Py`里面，可以利用--来指定一些args，也可以将所有的args写成配置文件来执行。这个错误看似是token设置的问题，但实际上是Opencompass版本的问题。可测试能力：通用能力（学科、语言、知识、理解、推理和安全）及特色能力（长文本、代码、工具及知识增强）方法：根据基座模型和指令微调后的对话模型来设计不同的方案。其中--reuse可以支持断点继续续存，分片可以支持多个模型同时推理。作用：方便用户和开发者了解模型的特色、实际能力及目前的缺陷。
2024-01-23 02:02:04
375
1
原创 书生·浦语大模型实战营第五课笔记
支持多种接口、轻量化方法（4bit权重及8bitKV）、推理引擎（turbomind和pytorch）及gradio等服务。2. KV CacheINT8 推理过程中的Key valueINT8话，推理时再反量化。1.持续批处理（Persistent线程）： 请求队列化为尽量填满地Batch Slots，每次slot推理完后将被释放，再拉取新请求。3. Blacked KV Cache： 未占用Free序列不储存、正在推理Active序列储存、推理完后迁移出去。只用KV Cache：RAM节省0.2%
2024-01-17 12:06:09
1768
原创 书生·浦语大模型实战营第四课笔记
这次作业的示范数据集基本是重复一两个QA上千遍，最后大家的作业看起来过拟合，因为问什么都回答一样。QLoRA：4-bit量化（相对16-bit）加载Base model， Adaptor部分的Optimizer state在GPU与CPU间调度， 显存占用进一波减小。大语言模型的微调可以分为增量预训练（专业新知识）和指令微调（base -> instructed）。LoRA： 整个模型及Adaptor部分的Optimizer state(仅Adaptor反向传播)， 显存占用减小。另外记录一下心得体会。
2024-01-14 10:42:45
387
1
原创 书生·浦语大模型实战营第三课笔记
本地数据：本地文档 -> Unstructed Loader组件 -> 纯文本 -> Text Splitter组件 -> 文本块 -> Sentence Transformer组件 -> 文本向量化 -> 存储到 Chroma VectorDB。低成本且可获得实时信息，但能力上限取决于基座模型，且总结性回答性能不理想。用户输入：Query向量化 -> 在Chroma VectorDB中进行相似匹配 -> 相关文本嵌入Prompt Template -> 大模型 -> Answer。
2024-01-11 19:45:35
374
原创 书生·浦语大模型实战营第二课笔记
我测试了一些打印的印文标签，浦语·灵笔并不能识别出其中的字符。不过浦语·灵笔的图文创作还是很惊艳的，可以生成文本并配图。人类的文章还是以传播知识为主，AI只是辅助工具，要是之后文章都是AI生产，内容真假不分的话会浪费所有人的时间。据介绍该系列模型包括20B使用的是千卡训练，但可以单卡微调。目前在思考单卡训练肯定不能包含之前的训练数据，因此这样的微调会不会丧失一些理解能力呢？如果想让模型在特定领域表现很好的话，应该在训练数据的基础上再增加特定领域的数据，但这样的话会有很大的算力需求。国内的镜像还是很重要的。
2024-01-06 21:46:14
394
原创 书生·浦语大模型实战营第一课笔记
书生浦语InternLM是上海人工智能实验室开发的大语言模型，其中7B和20B的模型是开源模型， 相对其他模型较轻量且高性能。3. XTuner：模型微调。支持增量续训（新知识）、有监督微调（指令理解）的加速和优化。支持80多个评测集，包含学科、语言、知识、理解、推理和安全6个维度。尝试克服新信息获取、回复可靠性、数学计算、工具交互等问题。模型轻量化、推理服务（gradio demo等）、多接口支持等。大模型是通用人工智能的途径，从过去专用模型解决特定任务到单个模型多种任务的路径。
2024-01-04 17:23:31
404
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人