自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

原创 【大模型微调】Lora、Dola和Pissa的实践与优化

大语言模型LLM中的微调模型Rola及其相关改进模型的介绍以及数学原理。

2024-10-18 17:40:50 994

原创 【奇异值分解】矩阵SVD算法的截断误差

SVD分解是矩阵计算的一个有效的分解方法,截断的SVD(TSVD)会由于低秩近似产生截断误差。

2024-10-11 14:37:22 338

原创 【SGD】随机梯度下降法的研究方向综述

现在随着AI的兴趣,机器学习、深度学习、强化学习等问题广泛应用在各个领域,而最优化问题求解,即损失函数最小化成为了求解问题关键的一个环节。使得最近20年,优化方法发展迅速,许多人从不同的角度去阐释算法改良的路线。包括从优化问题本身(凸或非凸,光滑或离散)、自适应学习率(动态调整学习率,减少手调参数的频率,应用更多的场景)、加速技巧(动量加速类的算法)等。因此,许多领域的学者都致力于研究该问题的改进,包括统计学、计算机、数学等,希望这样的文章能帮助大家寻找该问题的研究方向。

2023-09-17 16:47:18 397

原创 【数学建模】Pandas随机森林数模实战日记

记录第一次单人参赛,用Pandas+随机森林实战某数模杯赛预赛记录,并且记录遇到的问题,训练分数提升问题。该赛题为以银行贷前业务场景为切入点,数据为提供的用户基本信息、借贷信息、财务信息等脱敏后的数据(数据中以A1-A8,B1-B24为特征,没有具体细节),实现审贷客户分类(二分类),以0.5*AUC+0.5*F1值作为评分指标。本次比赛也是在有一点python基础下第一次完成一个完整的训练过程,中途发现很多问题,例如各种库的使用,特征工程方法,训练方法。大概为以下几点。......

2022-07-26 22:17:17 958 3

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除