2401_82660697的博客

原创 transformer attention注意力理解 QKV含义深度探索

此处为b站学习视频记录现在给出一个人的腰围为57， 想要预测他的体重，自然的，因为体重57在56和58之间，所以我们推断其体重在43～48之间但是我们还需要定量计算体重预测值，怎么办呢？我们可以根据57和56，57和58的相似程度来给56对应的体重43和58对应的体重48赋予权重，再求和得到预测值。由于57到56、58的距离一样，所以一种方法是取它们对应的体重的平均值。因为57距离56、58最近，我们自然会非常“注意”他们，所以我们分给他们的注意力权重各为0.5。

原创 李沐动手学深度学习笔记思维导图1—手撕softmax回归代码逻辑

原创 normalization in nn （batchnorm layernorm instancenorm groupnorm）

γβ首先导入pytorch。定义输入，本文以nlp或时间序列预测的数据结构为例。即[batch_size, time_step, embedding]下面为pytorch官方的解释。

原创 2025山大软件学院机器学习805 2024持续押中

贝叶斯决策论、参数化估计方法、非参数化估计方法、朴素贝叶斯分类器、半朴素贝叶斯分类器、 贝叶斯网、EM算法等。神经元模型、感知机与多层网络、误差逆传播算法、全局最小与局部极小、 其他常见神经网络、深度学习等。线性回归、对数几率回归、线性判别分析、多分类学习、类别不平衡问题、基于梯度的优化方法等。间隔与支持向量、对偶问题、核函数、软间隔与正则化、支持向量回归、 核方法等。k近邻学习、低维嵌入、主成分分析、核化线性降维、流形学习、度量学习等。聚类任务、性能度量、距离计算、原型聚类、密度聚类、层次聚类等。

原创 SVR， adaboost， MLP， GBDT， XGBOOST， LIGHTGBM以及随机森林模型参数优化+模型训练+shap解释

传递最优模型，进行shap解释。代码缺失train函数，SX。定义optimizim函数。定义参数空间和模型选择函数。使用多数投票法选取最优模型。首先定义object函数。