- 博客(5)
- 收藏
- 关注
原创 泰山派入手,从0开始学习,在此记录(持续更新)
我入手的为2G+16G款,目前安装系统为立创官方为泰山派提供的Ubuntu20.04镜像。在未安装VNC远程桌面之前,还需要键盘、鼠标、HDMI线和显示屏。
2024-01-28 20:54:24 2209
原创 复现DNDCMH时的问题总结
会自动将部分计算转换为低精度(如半精度浮点数)进行计算,以减少内存占用和计算开销。同时,它会确保在需要高精度计算的地方仍然使用高精度(如单精度浮点数)进行计算,以保持计算的准确性。是一个用于梯度缩放的工具,用于解决混合精度训练中梯度下溢或溢出的问题。在混合精度训练中,由于使用了低精度计算,梯度的值可能会变得非常小或非常大。可以自动缩放梯度的值,以保持在一个合适的范围内,从而避免梯度下溢或溢出的问题。在实验中需要更改最后一层,使用此方法便可得到。注意,如果最后一层为。,则输出结果的形状为。
2023-11-29 17:51:17 363 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人