自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

Debroon

闲下来就写点东西。

Debroon CSDN认证博客专家 CSDN认证企业博客

码龄6年

暂无认证

692: 原创

3006: 周排名

876: 总排名

118万+: 访问

: 等级

1万+: 积分

6383: 粉丝

8093: 获赞

518: 评论

9543: 收藏

私信

关注

分类专栏

最新评论

一眼诊全身项目经验
Debroon: 这种要对接医院吧，感觉对接医生都不行，这种资源问题你导师肯定要帮你解决
一眼诊全身项目经验
Debroon: 最好的方法，就是你依然做眼表图像诊病这一块，但你要做多模态任务（眼表图像 + 眼底图像）诊病。这样去解决你，没有数据集，也没有好的模型，论文也很少的问题。我博客也在更新多模态融合算法，你可以看看
一眼诊全身项目经验
学码大人: 我的师兄就是做眼底的，然后我就得做眼表，导师现在对我这个特别感兴趣，商量的话要泡汤，眼表数据集倒是不难找，但是要匹配病例和生化指标才可以做，要不然只能做成身份识别了，
【附带大模型训练数据】大模型系统优化：怎么计算模型所需的算力、内存带宽、内存容量和通信数据量？
Debroon: 我真不记得了，我试着回答。对于显存占用的计算，如果只是计算参数、梯度、梯度平方和优化器状态（如动量和方差）所需要的显存，那么计算方式需要详细考虑每个组件对应的数据类型和精度。下面我们纠正和明确这些计算： ### FP16精度（半精度）下的显存计算在FP16精度下，每个数值占用2字节。包含的内容通常有： - **梯度**：需要2φ的存储，因为每个参数都有一个对应的梯度。 - **梯度平方**：在某些优化器（如Adam）中，同样需要2φ的存储。 - **优化器状态**：包括动量和方差，通常需要额外的4φ的存储（每个额外状态2φ）。总的显存需求计算为： \[ 8φ \times 2 \text{字节} = 16φ \text{字节} \] 这意味着在FP16下，总显存需求是16φ字节。 ### FP32精度（单精度）下的显存计算在FP32精度下，每个数值占用4字节。相应的存储需求也是： - **梯度**：2φ - **梯度平方**：2φ - **优化器状态**：4φ 总的显存需求计算为： \[ 8φ \times 4 \text{字节} = 32φ \text{字节} \] 这表明在FP32下，总显存需求是32φ字节。所以，显存占用应该是： - 在FP16（半精度）下，总显存需求是 **16φ字节**。 - 在FP32（单精度）下，总显存需求是 **32φ字节**。这些计算只考虑了参数、梯度、梯度平方和优化器状态的基本需求，未包括激活、权重本身或其他临时数据的显存需求。
【附带大模型训练数据】大模型系统优化：怎么计算模型所需的算力、内存带宽、内存容量和通信数据量？
Debroon: 我真不记得了，当初怎么想的。我试着回答。在FP16精度下，基本的显存需求为8φ（包括梯度、梯度平方和优化器状态），但通常会达到16φ，因为还需额外考虑模型参数本身、激活存储以及其他临时变量和缓冲区的显存占用。

多智能体系统：长出手脚的大模型 + 批量自动化

关注

多智能体系统

关注数：文章数：0 文章阅读量：0 文章收藏量：0

作者: Debroon

万象禅心（升级AI医疗行业 + Web3自动化科学家 + 大商家族），闲下写点（以当前科学理解，解决世界71亿人，在家庭教育，夫妻关系，情感关系，亲子教育的无明；解决在创业方面，做项目踩坑，做生意亏钱，创业失败，不会做互联网，等核心创业问题；解决在人生智慧层面，焦虑抑郁，内心痛苦，无法解脱，如何开悟活出生命意义，等核心生命智慧问题……我想的提供服务不是提升一下认知，或者咨询某方面，是我要呵护你一辈子、让天下没有痛苦的生产者和家庭。）

展开

空空如也