MMLab实战训练营
文章平均质量分 83
MMLab实战训练营一些笔记
桑_榆
在努力和摆烂之间 我会选择努力摆烂
展开
-
OpenCompass 大模型评测
OpenCompass 大模型评测关于测评的三个问题为什么需要测评?我们需要评测什么?怎么测试大预言模型?主流大模型评测框架OpenCompass能力框架OpenCompass评测流水线设计关于测评的三个问题为什么需要测评?模型选型模型能力提升真实应用场景效果评测我们需要评测什么?知识、推理、语言长文本、智能体、多轮对话情感、认知、价值观怎么测试大预言模型?自动化客观评测人机交互评测基于大模型的大模型评测主流大模型评测框架OpenCompass能力框架Ope原创 2024-01-21 23:48:34 · 511 阅读 · 0 评论 -
LMDeploy 大模型量化部署实践
将训练好的模型在特定软硬件环境中启动的过程,使模型能够接受输入并返回预测结果为了满足性能和效率的要求,尝尝需要对模型进行优化,例如模型压缩和硬件加速LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。原创 2024-01-13 23:45:00 · 679 阅读 · 0 评论 -
XTuner 大模型单卡低成本微调实战
LLM的下游应用任务中,增量预训练和指令跟随是经常会用到的两种微调模式适配多种生态多种微调算法适配多种开源生态自动优化加速。原创 2024-01-12 10:02:21 · 844 阅读 · 0 评论 -
基于 InternLM 和 LangChain 搭建你的知识库
LangChain框架是一个开源工具,通过为各种LLM提供通用接口来简化应用程序的开发流程,帮助开发者自由构建LLM应用。链:将组件组合实现端到端应用,通过一个对象封装实现一系列LLM操作Eg.检索问答链:覆盖实现了GAR(增强检索生成)的全部流程。原创 2024-01-10 09:03:34 · 985 阅读 · 0 评论 -
轻松玩转书生·浦语大模型趣味Demo
人工智能领域中 参数数量巨大 拥有庞大计算能力和参数规模的模型利用大量数据进行训练拥有数十亿甚至数千亿个参数模型在各种任务重展现出惊人的性能通过单一代码库,InternLM支持在拥有数千个GPU的大型集群上进行预训练,并在单个GPU上进行微调,同时实现了卓越的性能优化。在1024个GPU上训练时,InternLM可以实现90%的加速效率。利用数万亿高质量token进行训练,建立了一个强大的知识库支持8K token的上下文窗口长度,使得输入序列更长并增强了推理能力。原创 2024-01-06 16:24:15 · 904 阅读 · 0 评论 -
书生·浦语大模型全链路开源开放体系
6大维度 80+评测集、40万+评测题目。大模型成为发展通用人工智能的重要途径。提出了OpenCompass评测体系。原创 2024-01-03 21:31:47 · 419 阅读 · 0 评论 -
AI实战训练营&MMagic安装配置
MMagic 是基于 PyTorch 的图像&视频编辑和生成开源工具箱。是 OpenMMLab 项目的成员之一。目前 MMagic 支持多种图像和视频的生成/编辑任务。原创 2023-06-16 12:07:23 · 425 阅读 · 1 评论 -
AI实战训练营&底层视觉与MMEditing
本文中,作者将三层卷积的结构解释成三个步骤:图像块的提取和特征表示,特征非线性映射和最终的重建。图像超分辨的损失函数是用来评估重建图像和真实图像之间的差异,指导模型优化的一个重要指标。不同的损失函数可能会导致模型在峰值信噪比(PSNR)和感知质量方面有不同的表现。首个基于深度学习的超分辨率算法,证明了深度学习在底层视觉的可行性,模型仅由三层卷积层构成,可以端到端学习,不需要额外的前后处理步骤。原创 2023-06-14 20:52:08 · 122 阅读 · 0 评论 -
AI实战训练营&MMSegmentation安装配置
下载完成之后我们进入刚下载的这个文件夹里面,编译它:(克隆了很多次,老被强)首先检查本地有没有MMSegmentation,有的话删除。以上步骤都没有爆红,接着以下的操作: 安装其他所需要的库。这里可以下载他的配置文件和预训练模型,很方便的可以套用。我们可以在这里使用预训练好的模型和权重文件。然后 用 mim 安装 MMCV。我们用PSPNet做实验。首先安装pytorch。原创 2023-06-13 18:43:56 · 233 阅读 · 0 评论 -
AI实战训练营&图像分割MMSegmentation
MMSegmentation 是一个基于 PyTorch 的语义分割开源工具箱。它是 OpenMMLab 项目的一部分。分割任务是指将一幅图像分割成若干个区域的任务,每个区域通常对应于图像中的一个物体或者物体的一部分。分割任务通常分为语义分割和实例分割两类。语义分割是将一幅图像中的每个像素赋予一个语义标签,标签表示该像素属于哪个类别,比如人、车、树、天空等。语义分割的目标是将图像中不同物体或物体的部分区分开来,常用的方法包括基于像素的分类方法和基于区域的方法。原创 2023-06-13 00:12:55 · 180 阅读 · 0 评论 -
AI实战训练营&MMDetection安装配置指南
MMDetection 是被广泛使用的检测工具箱,包括了目标检测、实例分割、全景分割等多个通用检测方向,并支持了 75+ 个主流和前沿模型,为用户提供超过 440+ 个预训练模型,在学术研究和工业落地中拥有广泛应用。模块化设计MMDetection 将检测框架解耦成不同的模块组件,通过组合不同的模块组件,用户可以便捷地构建自定义的检测模型支持多种检测任务MMDetection 支持了各种不同的检测任务,包括目标检测,实例分割,全景分割,以及半监督目标检测。后续会重点支持多模态通用检测方向。原创 2023-06-08 21:59:49 · 294 阅读 · 0 评论 -
AI实战训练营&目标检测与MMDetection
然后进行reshape,拿一张图片举个例子,图片的shape是(W,H,D=18),然后我们会把他reshape以进行softmax(进行softmax的matrix的一边需要等于num of class,在这里是一个二分类,即是否含有物体,所以是2)。像传统的目标检测算法,通常会使用相同大小的滑块,依次在图片上进行处理,这种做法非常耗时,也对计算机的性能有要求,当我们用遍历的方式去对增幅图片进行处理,是非常麻烦的。1的filter进行卷积,一共为18个,生成的新的图片是18-D的。原创 2023-06-08 13:49:40 · 91 阅读 · 0 评论 -
AI实战训练营&MMPretrain代码实战
首先默认大家都是安装好mmcv以及mim的,用mim的话比较方便,不会出现奇奇怪怪去的错误。导入下面这个库,可以进行推理,但是得加上模型参数,不然不准确。我们根据上面的文件,写出自己的配置文件,下面是我写的配置文件。可以看到,如果不加参数的话,推理出来的结果就会很离谱。我们首先导入mmpretrain中的下面库。如果出现上面的信息,就说明安装成功了!这里是用ResNet50做分类,我们选择。如果需要多模态的话,需要执行下面的命令。,用这个模型做预测推理。以上是我的配置文件。原创 2023-06-07 09:35:58 · 272 阅读 · 0 评论 -
AI实战训练营&预训练与MMPreTrain
目前,预训练阶段对于视觉识别至关重要,凭借丰富而强大的预训练模型,我们能够改进各种下游视觉任务,我们的代码库旨在成为一个易于使用和用户友好的代码库,并简化学术研究活动和工程任务。MMPreTrain是一个全新升级的预训练开源算法框架,旨在提供各种强大的预训练主干网络,并支持不同的预训练策略。权重是可以学习的参数,但是与输入无关,只能建模局部关系,远距离关系只能通过多层卷积实现。权重是输入的函数,与输入有关,可以不局限于领域,显式建模远距离关系。支持多种训练策略(有监督学习,无监督学习,多模态学习等)原创 2023-06-05 18:03:19 · 149 阅读 · 0 评论 -
AI实战训练营&MMPose环境安装
下面进入正题,MMPose的安装,我这里的环境是pytorch1.10+cuda11.2。趋动云里面内置的有cuda和pytorch环境,直接选择即可,不过有时候加载是真的慢。MMLab系列的环境一定要对应好版本以及官方文档,不让会出现一系列很神奇的红色错误。下面这个红色可能是因为超时,因此我的解决方案是加上清华源。这个代码拉下来之后,进入到mmpose里面,编译安装它。进去之后一定要执行这一步!我这里用的是趋动云,因为有活动,基本白嫖。,可能其他的分支版本上有些问题。不然编译下载找不到文件。原创 2023-06-02 22:07:29 · 99 阅读 · 0 评论 -
AI实战训练营&人体关键点检测与MMPose
从给定的图像中识别人脸、收不、身体等关键点输入:图像I输出:所有关键点的像素坐标(x1,y1),(x2,y2)…姿态估计是一种计算机视觉技术,可以从图像或视频中检测人体的形象,并确定人体的各个部位或关节的位置。姿态估计可以分为2D和3D,单人和多人,自上而下和自下而上等不同的类型。姿态估计可以用于行为识别、动作捕捉、虚拟现实、增强现实等应用场景。通常是一些关节的位置。原创 2023-06-02 14:46:46 · 1086 阅读 · 0 评论 -
AI实战训练营&OpenMMLab概述
随着深度学习、计算机视觉等学科的发展,各大研究机构为公司陆续开源自己的深度学习框架,论文发表同时开源代码也成了行业内的习惯。官网:https: openmmlab.com公众号:OpenMMLabOpenMMLab是一个产学研用四位一体的开放开源算法平台学术提供高质量代码框架和算法基准,促进学术界健康、快速发展产业缩短算法落地链条,促产学研打通 为行业降本增效生态提高中国在AI算法生态上的话语权 促进上下游企业发展人才形成持续成长的开源社区,促进AI行业人才成长 构建课程体系,助力人才培养。原创 2023-06-02 12:26:43 · 112 阅读 · 0 评论 -
OpenMMLab 实战营打卡 - 第 3 课
配置MMlab环境原创 2023-02-04 13:49:42 · 100 阅读 · 0 评论 -
OpenMMLab 实战营打卡 - 第 2 课
图像分类原创 2023-02-03 14:57:47 · 103 阅读 · 0 评论 -
OpenMMLab 实战营打卡 - 第 1 课
MMCV 是一个面向计算机视觉的基础库,它支持了很多开源项目,例如:MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口MMClassification: OpenMMLab 图像分类工具箱MMDetection: OpenMMLab 目标检测工具箱MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台MMRotate: OpenMMLab 旋转框检测工具箱与测试基准MMSegmentation: OpenMMLab 语义分割工具箱。原创 2023-02-01 22:29:42 · 164 阅读 · 0 评论