- 博客(2)
- 收藏
- 关注
RSS订阅原创 语音降噪学习记录
语音其实是人类采集的声音的幅度强度随着时间变化的一系列点。如下图为汉语元音韵母 “a”的声音波形图的一部分。声音即为空气分子不断的振动和传播。把声音想象成水龙头中流出的水流，用一个传感器以某种频率探入这股水流，每探测一次测量一次声音的振幅强度以及振动的方向，即可以得到一系列的随时间变化的点。这种频率就是采样频率。例如有一个语音，某个录音机器以 16000个点/秒的速度（采样率）去测试这个声音， 测了2s，我们则会得到 2 * 16000 = 32000个采样点。
2024-02-03 21:55:40
909
原创 LLM学习记录（lora、Qlora与量化）
PTQ虽然简单，但是有个比较大的弊端是，对训练后的参数直接量化会削弱模型性能，于是有学者提出了QAT的方法，这个方法宗旨是让模型更适应后量化，主要操作是在模型训练阶段，前向推理使用低精度的模型参数，计算得到损失之后，反量化至高精度如FP16，根据这一损失优化fp16的原参数，原参数优化后再量化为低精度，参与下一轮参数更新（大致过程应该是这样，有错误的欢迎指出）。因为硬件资源有限，本来在研究LLM量化的，后来发现这与lora和Qlora有点关系，刚好我对这两个技术知之甚浅，一并进行学习了。
2024-01-25 16:54:49
1123
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人