- 博客(17)
- 收藏
- 关注
RSS订阅原创 第四届微调——炼丹
微调是一种在已有的预训练模型基础上，通过使用新的数据对模型进行进一步优化和调整的技术手段。它的目的是使模型能够更好地适应特定的应用场景和任务需求，进一步提高模型在特定领域或任务中的性能，包括准确性、泛化能力和适应性等。中间创建多次导致出现多个环境错乱。
2024-05-12 19:06:19
475
原创 第五节---LMDeploy 的量化
大模型部署的背景在于，将训练好的深度学习模型在特定环境中进行运作是一个极具挑战性的过程，主要面临着计算量庞大、内存消耗高、存在访存密集瓶颈以及动态请求等问题。LMDeploy 是一个综合性的解决方案，涵盖了 LLM 任务的整套轻量化、部署和服务方案，其核心功能包括 chat、lite 和 serve。大模型部署的方法包括模型剪枝、知识蒸馏（如上下文学习、思维链、指令跟随等）以及量化（如量化感知训练、量化感知微调、训练后量化等）只完成基础任务，后续没有进行进阶。
2024-05-12 18:47:05
215
原创 第六节笔记及作业----Lagent & AgentLego 智能体应用搭建
智能体有多种类型，如 ReAct 类型（侧重于选择工具）、ReWoo 类型（注重计划拆分）、AutoGPT 类型（需要人工干预）它支持多个智能体框架，如 lagent、LangChain、Transformers Agents 等，并提供了大量在视觉、多模态领域的前沿算法。：是一个轻量级的开源智能体框架，其目的是让用户能够高效地构建基于大语言模型的智能体。它支持多种智能体范式，如 ReAct、ReWoo、AutoGPT，同时也支持多种工具，如谷歌搜索、python 解释器等。
2024-05-12 17:01:20
217
原创 第七次--大模型测评
挑战：要想办法建立一个全面的评价体系，还要能处理大规模的数据，并且要保证评测的准确性和可重复性，真不是一件容易的事。通过学习大模型评测的相关知识和使用 opencompass 工具进行代码实战，我对大模型评测有了更深入的了解。评测流水线：从数据准备开始，然后进行模型评估，接着分析结果，最后还要可视化，这一系列步骤都不能少。opencompass 的功能：能对模型进行评估，还能进行数据分析和可视化，功能挺多的。类型：语言大模型和多模态大模型这两种是主要的类型。评测类型：客观评测和主观评测是主要的两种方式。
2024-05-12 15:37:15
315
原创 书生浦语——InternLM2技术报告笔记
这一策略不仅使模型能够处理更长的文本，还针对特定任务提升了模型的专业能力，如编程、推理和语言理解，这在之前的模型中不是特别常见。该模型采用的COOL RLHF（条件性在线强化学习从人类反馈）策略，通过引入条件奖励模型解决了多种人类偏好之间的潜在冲突问题，有效避免了奖励黑客现象，这一点对于提高模型在实际应用中的可用性和安全性至关重要。：在保持与LLaMA兼容的同时，InternLM2在模型结构上的创新，如合并Wk、Wq和Wv矩阵，展示了在提升训练效率和模型灵活性方面的独到见解。
2024-03-28 08:32:32
339
原创 Sora原理与技术（二）---机器学习里的“集中注意力”：一步步了解注意力机制
想象一下，你的大脑在翻译"我爱机器学习"时，对“爱”这个词给予了更多关注，Bahdanau就是教会了机器这样做的。但是，有一群研究者不满足于仅仅让机器关注对话中的一部分，他们想要的是让机器具有“自我反思”的能力——这就是自注意力的诞生。想象你在读书时，不仅关注书中的故事情节，还有时回想自己的经历，这种能力对于理解复杂的文本和关系是非常重要的。在机器学习和特别在自然语言处理中，Attention（注意力机制）是一种提高神经网络性能的技术，它允许模型在处理数据时候，动态地关注信息的某部分，而不是其他部分。
2024-03-07 20:26:01
1349
1
原创 Sora原理与技术（一）
全称叫做AI generated content，AlGC (Al-Generated Content，人工智能生产内容)，是利用AlI自动生产内容的生产方式。
2024-03-05 21:53:18
941
1
原创 大模型基础理论梳理
语言模型的任务是判断不同的单词组合或者序列出现的可能性有多大，例如，对于句子‘the mouse ate the chesse’,模型可能会认为这是一个很有可能出现的序列，因此会给它一个较高的概率值。当T=0时候 ，模型总是选择最有可能的单词，使得生成文本的时候表现出极高的确定性，但也限制了其他创造性和多样性，这种更适合那些对文本准确性要求很高的应用场景；总之，语言模型在生成任务中的应用 相当于一个能够根据概率创造新文本的过程，这个过程既可以是完全随机的，也可以是受控的，取决于我们对生成文本的具体要求。
2024-02-05 16:33:56
1092
1
原创 Datawhale --学习git 第四节
在提交过程中的特定阶段执行，例如在提交前（pre-commit）、准备提交消息时（prepare-commit-msg）、提交消息后（commit-msg）等。Git Hooks是Git中的一种强大功能，允许在特定的重要动作发生时（例如提交和推送）自动执行自定义脚本。Footer是可选的，用于提供关于重大更改的额外信息，或引用相关的GitHub issue或Jira ticket。通过使用Git Hooks，开发团队可以确保代码库的一致性和质量，自动化常规任务，以及定制符合特定需求的工作流程。
2024-01-24 21:53:17
1074
1
原创 Datawhale学习git--第三节
objects目录下存储三种对象：数据对象（blob），树对象（tree）和提交对象（commit）。5个子目录的含义如下图所示：2个blob, 2个tree和1个commit。
2024-01-21 21:53:15
1232
原创 书生浦语大模型--第二节打卡
InternLM模型介绍，项目仓库：https://github.com/InternLM/tutorial/blob/main/ 执行demo运行时候，在本地浏览器输入 该地址被web-demo所占用解决：更改Streamlit应用的端口： 在这里，我将端口更改为6007，但可以选择任何未被占用的端口。
2024-01-16 16:02:32
423
1
原创 书生浦语大模型--开源体系
因此随着深度学习理论的突破和技术进步，通用模型成为了AI研究的新焦点，目的就是为了创建能够解决多种问题的灵活、适应性强的模型。大模型与通用人工智能（AGI），大模型通常被视为发展通用人工智能的重要途径。AI研究从专用模型向通用模型转变，在过去的一二十年中，研究重点在于针对特定任务的专用模型。
2024-01-16 11:48:45
983
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人