基础模型
文章平均质量分 74
基础模型架构
哇哇九号
生命不息,音乐不止。
展开
-
大型语言模型(LLM)论文串烧
刚好趁着刚看完还有印象稍微做下总结。原创 2024-05-24 18:44:32 · 129 阅读 · 0 评论 -
多模态模型(MLLM)论文串烧
近期看了一些多模态方向的工作,包括图像、文本多模态,图像、视频、语音、文本多模态,做个总结。原创 2024-05-24 18:50:10 · 269 阅读 · 0 评论 -
阅读笔记——SSR-Net: A Compact Soft Stagewise Regression Network for Age Estimation
年龄估计的一个问题是同样年龄的不同人可能会有较大的外观差异。年老的人可能看上去很年轻,一些年轻人也可能看上去比较老。而另一个问题则是当前的模型都太大了,大小甚至超过500MB,无法在端侧移动设备上部署运行。SSR-Net(Soft Stage wise Regression Network) 提出网络非常大的原因是最后的分类层占据了大量的参数,因此提出了一种级联分类的年龄估计方法。通过将原来的需要输出 100 个分类类别数降低到设定数目,并使用多个层级进行分类,对每个层级进行均值计算来得到年龄估计。原创 2022-09-03 00:11:50 · 780 阅读 · 0 评论 -
阅读笔记——MetaAge: Meta-Learning Personalized Age Estimators
我们在之前介绍过一篇由旷世和新加坡国立联合提出的用于年龄估计的论文C3AE,模型只有0.3MB,具备较大的实用价值。但是人脸年龄受种族、肤色、地区等因素的影响,不同的人在同一年龄有不同的外观表现,对所有人脸使用同一套参数进行年龄估计可能会造成估计偏差。MetaAge 提出年龄估计还应当考虑每个人的个人身份属性信息来获得一个更精准的年龄估计。在此基础上使用了元学习的概念进行了包装。.........原创 2022-08-27 22:26:40 · 780 阅读 · 0 评论 -
阅读笔记——C3AE: Exploring the Limits of Compact Model for Age Estimation
年龄估计是一个经典的计算机视觉问题。虽然有许多深度神经网络(例如 AlexNet、Vggnet、Resnet等)被提出,但是它们都不适用于端侧或者移动设备。文章设计了一个轻量化的年龄估计网络 C3AE(Compact yet efficient Casade Context-based Age Estimation model)来解决移动设备上的年龄估计问题。当前的年龄估计方法,可以大致分为基于结合分类与回归和分布估计两类方法。原创 2022-08-21 20:45:56 · 659 阅读 · 0 评论 -
阅读笔记——MobileFaceNets: Efficient CNNs for Accurate Real-Time Face Verification on Mobile Devices
文章基于 MobileNet 系列网络,提出了一种轻量化的人脸识别网络 MobileFaceNet。文章首先分析了通用的轻量化的特征提取网络在人脸识别上效果不佳的原因,然后基于此进行了一系列调整,在人脸识别数据集上取得了较好效果。原创 2022-08-20 14:48:11 · 824 阅读 · 0 评论 -
阅读笔记——AnatomyNet
目录概述方法数据集网络架构损失函数处理遗漏标注评估指标实验及指标概述这是阅读一篇医学分割方向的论文《AnatomyNet:Deep Learning for Fast and Fully Automated Whole-volume Segmentation of Head and Neck Anatomy》的小笔记。对于头部和脖子位置的癌症,放射疗法是一种常见治疗方案。为了达到对病变区域精准放射的效果,需要医生在 CT 图中标记出病变区域。这一过程耗时长且容易出错。而现有的一些自动处理方法,则是一些原创 2021-12-24 01:16:07 · 2059 阅读 · 0 评论 -
阅读笔记——HRank: Filter Pruning using High-Rank Feature Map
目录概述方法实验和指标可能的问题概述这篇通道裁剪论文同样提到,对于权重裁剪在特定硬件上可以获得加速,但是通用性不够。相对的,通道裁剪就没有这样的问题。因此文章聚焦于通道裁剪达到模型压缩(降低参数量)和加速(减少计算 FLOPs)的效果。同时文章将通道裁剪方法分为两类:一类是基于 CNN 网络内在性质做裁剪,这类裁剪方法不需要修改网络损失,在裁剪后,通过 finetune 恢复模型性能;另一类是自适应重要性排序方法,与前面方法不同的是,这类方法将裁剪方法集成到网络训练损失,然后联合优化一个自适应的原创 2021-12-20 01:34:43 · 585 阅读 · 0 评论 -
阅读笔记——Learning Efficient Convolutional Networks through Network Slimming
目录概述方法实验及指标实验细节实验指标概述CNN 模型在许多方面都取得了进展,但要将一些高精度 CNN 模型应用到实际场景中,还是面临一些问题:模型大小:模型参数和结构需要保存在硬盘上,对于一些嵌入式系统来说是一个不小的负担;运行时内存需求:推理时产生的中间变量需要地方存储;计算操作次数:一个比较大的 CNN 网络在移动设备上的处理时间可能可以达到数分钟,这使得应用于实时应用不现实。这些实际问题使得人们考虑对模型大小进行压缩。这篇文章提出,可以对 BN 层的尺度因子使用 L1 正则化,将 B原创 2021-12-19 00:11:59 · 480 阅读 · 3 评论 -
阅读笔记——MnasNet: Platform-Aware Neural Architecture Search for Mobile
目录概述方法方法流程问题定义搜索空间搜索算法实验设置结果及指标概述深度学习模型增长的计算量需求使其比较难部署到资源受限的移动或者嵌入式系统上。因此文章提出一种综合考虑精度和时延的模型架构搜索方法,在考虑实际设备时延的情况下,得到速度比 MobileNet V2 更快、精度比 MobileNet V2 更高的 MnasNet 系列模型。方法方法流程方法的框架流程图如下所示。相比一些之前的搜索方法,这里的模型搜索方法主要有两个改进:一是设计了包含精度和时延两个指标的优化器,而且这个时延是在实际设备原创 2021-12-08 00:56:45 · 289 阅读 · 0 评论