- 博客(3)
- 收藏
- 关注
原创 大模型轻量化技术调研
量化蒸馏该部分在深度方面进行复合压缩,提炼出一个较浅的student-model,使其精度和较深的teacher-model相似利用蒸馏损失来训练一个量化的学生网络。它的目标是利用蒸馏损失在训练过程中,通过将蒸馏损失(相对于教师网络)结合到一个较小的学生网络的训练中,来压缩学生网络的权重。这种方法使用投影梯度下降,在全精度训练中进行梯度下降步骤,然后将新参数投影到有效解集合中。在每次投影步骤中,累积误差累积到下一步的梯度中。可微量化。
2023-04-07 15:36:16
1595
1
原创 OPENNE框架搭建过程
OPENNE框架搭建过程前言搭建过程Windows or Linux?python2.7 or python3?关于第三方模块ModuleNotFoundError: No module named 'XXX'的解决方法ImportError: cannot import name 'XXX'的解决方法结语前言最近在学习基于网络表示学习,用到了清华大学的框架OpenNe,因为经验缺乏,前段时间事情繁忙,没有跑起来。这两天又开始尝试,遇到了不少的问题,更更改改,算是初步跑出来了。搭建过程Windows
2020-05-10 22:52:27
763
原创 Android Studio 连接夜神模拟器的详细步骤
@ Android Studio 连接夜神模拟器的详细步骤第一次写博客,最近开始学习Android Studio,准备用博客记录下遇到的问题。我遇到的第一个问题就是Android Studio连接模拟器,由于Android Studio自带的虚拟器怎么都用不了,我就换成了夜神模拟器。检查adb工具在cmd中输入adb,如果没有出现adb信息,则是adb工具没有安装。一般下载Androi...
2020-01-31 17:40:27
2669
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人