- 博客(5)
- 收藏
- 关注
RSS订阅原创 LLM大语言模型训练全流程详解--以LLaMA3为例
LLM为大型语言模型,它的整体上分为预训练和后训练两个流程,预训练需要大量的算力和数据,占总训练周期的90%以上,在预训练的基础上，通过几轮后训练对模型进行微调，使其更好地与人类反馈对齐。每轮后训练包括监督微调（SFT）和直接偏好优化（DPO），后者使用了人工注释和合成的数据样本。
2024-08-02 21:23:24
418
原创 神经网络核心知识点梳理--一图了然
（损失函数对参数的梯度）：这是损失函数相对于参数的导数，表示了在当前参数值下，损失函数的变化率。上图是一个单层输入层,隐藏层,及输出层的简单神经网络结构,输入坐标位置x1,x2,输出四个象限的分类结果.本文节选自个人博客,全文请见。**MiniBatch小批量梯度下降:**根据需求自由定义batchsize,兼具BGD和SGD的优点,收敛相对较快,最为常用。**SGD随机梯度下降:**随机抽取单样本放入模型训练,受异常值影响,梯度更新时波动较大,训练时间长。损失计算可以分为分类损失和回归损失两种,
2024-07-04 23:06:25
887
原创 python+jieba+wordcloud实现超酷的词云
python使用jieba库自定义分词,词频统计,并用wordcloud库词云可视化
2024-05-10 16:48:28
437
1
原创 cv2报错:modules\highgui\src\window.cpp:971: error: (-215:Assertion failed) 解决
cv2 报错modules\highgui\src\window.cpp:971: error: (-215:Assertion failed)解决
2024-05-06 08:53:37
279
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人