- 博客(246)
- 收藏
- 关注
RSS订阅原创 Yoggy老师教你相似度计算
首先，需要对每个商品的标题、品牌、分类等信息进行特征提取和归一化处理。为了识别同款商品，需要计算每个商品之间的相似度。
2024-06-04 19:33:58
428
原创 一文详解深度学习Transformer面试重点-天王星计划YOGGY老师
¶训练上的意义: 随着词嵌入维度d_k的增大, q * k 点积后的结果也会增大, 在训练时会将softmax函数推入梯度非常小的区域, 可能出现梯度消失的现象, 造成模型收敛困难.数学上的意义: 假设q和k的统计变量是满足标准正态分布的独立随机变量, 意味着q和k满足均值为0, 方差为1. 那么q和k的点积结果就是均值为0, 方差为d_k, 为了抵消这种方差被放大d_k倍的影响, 在计算中主动将点积缩放1/sqrt(d_k), 这样点积后的结果依然满足均值为0, 方差为1.将点积除以 𝑑𝑘d**k。
2024-06-01 11:45:30
763
原创 天王星算法强化班
关于是否要pop的问题，定长的数组不需要pop，pop会报错。把边界条件和非边界条件写对，剩下的交给数学归纳法。当前层有就加入，然后找孩子，加到没有为止。加上一个值当作bool条件。
2024-06-01 11:34:47
357
原创 Yoggy告诉你导数在人工智能的优化作用
导数的重要性：导数提供了损失函数在参数空间中的变化信息，是优化算法（如梯度下降）中的关键步骤。正则化的导数：L1 和 L2 正则化项的导数分别具有不同的性质，影响参数更新的方式，进而影响模型的稀疏性和稳定性。通过理解和计算导数，我们能够有效地应用梯度下降法进行模型训练，并结合正则化方法来控制模型复杂度，防止过拟合。
2024-05-22 14:42:30
443
原创 Yoggy机器学习-Lasso回归和Ridge回归
总的来说，选择 L1 或 L2 正则化取决于具体的应用场景和对模型的要求。如果需要一个稀疏模型，可以选择 L1 正则化；如果希望模型更加稳定且所有特征都能有一定贡献，可以选择 L2 正则化。如果需要兼顾两者的优点，可以选择 Elastic Net。L1 和 L2 正则化是机器学习和统计学中常用的正则化方法，用于防止模型过拟合。它们通过在损失函数中添加惩罚项来限制模型的复杂度。在逻辑回归中使用 L1 和 L2 正则化。使用 L2 正则化（Ridge 回归）
2024-05-22 14:36:32
684
原创 Yoggy机器学习-验证集和测试集
验证集是从训练集中分离出来的一部分数据，用于模型的超参数调优和选择最佳模型。验证集的目的是在训练过程中帮助选择和优化模型的参数，评估模型在训练过程中是否有过拟合等问题。测试集是从原始数据集中分离出来的一部分数据，完全独立于训练过程和模型调优过程，用于最终评估模型的性能。测试集的目的是提供对模型在未知数据上的性能的独立评估，确保模型的泛化能力。特性验证集（Validation Set）测试集（Test Set）用途模型选择、超参数调优、早停法等最终模型评估数据来源从训练集中分离出来的一部分数据。
2024-05-22 13:21:40
417
原创 CRF模型
双向长短期记忆网络（BiLSTM，Bidirectional Long Short-Term Memory）**是一种特殊的循环神经网络（RNN），它在自然语言处理（NLP）、时间序列分析等领域具有广泛应用。BiLSTM通过在两个方向上处理输入序列，能够更好地捕捉序列中每个时间步长的上下文信息。
2024-05-20 09:43:23
418
原创 一文理解BILSTM神经网络
双向长短期记忆网络（BiLSTM，Bidirectional Long Short-Term Memory）**是一种特殊的循环神经网络（RNN），它在自然语言处理（NLP）、时间序列分析等领域具有广泛应用。BiLSTM通过在两个方向上处理输入序列，能够更好地捕捉序列中每个时间步长的上下文信息。
2024-05-20 09:42:42
931
原创 一文带你认识GRU网络（有代码
门控循环单元（Gated Recurrent Unit，简称GRU）是一种简化版的循环神经网络（RNN），由Cho等人于2014年提出。GRU通过引入门控机制，简化了长短期记忆网络（LSTM）的结构，同时保留了捕捉长时间依赖关系的能力。GRU具有较少的参数，更易于训练，且在许多应用中表现与LSTM相当甚至更好。
2024-05-19 20:44:28
857
原创 一文带你认识lstm网络
长短期记忆网络（Long Short-Term Memory，简称LSTM）是一种改进的循环神经网络（RNN），专门用于解决标准RNN在处理长序列数据时存在的梯度消失和梯度爆炸问题。LSTM通过引入记忆单元和门控机制，能够更好地捕捉和保持长时间依赖关系。
2024-05-19 20:43:40
411
原创 深度学习神经网络-RNN神经网络简介
循环神经网络（Recurrent Neural Network，简称RNN）是一类用于处理序列数据的神经网络。与传统的前馈神经网络不同，RNN具有循环连接，能够利用序列中的上下文信息。
2024-05-19 20:40:48
313
1
原创 深度学习bert编码
是一个函数，通常用于自然语言处理（NLP）中，通过BERT（双向编码器表示的Transformers）模型对单个句子或文本输入进行编码。：该函数将单个句子或文本输入转换为数值表示（嵌入），使用BERT模型进行编码。这些嵌入捕捉了文本的语义信息，使其适合于各种下游的NLP任务。：通过使用BERT对文本进行编码，该函数提取了表示句子中单词的上下文信息的特征。：该函数生成的嵌入可以作为机器学习模型的输入特征，使模型能够利用BERT提供的丰富上下文信息。text = "这是一个示例句子。
2024-05-19 20:35:18
256
原创 自然语言处理-前向概率介绍和例题
状态集合（States）: 隐藏状态的集合，通常用 𝑆={𝑠1,𝑠2,…,𝑠𝑁}S={s1,s2,…,sN} 表示。观测集合（Observations）: 可以观测到的输出集合，通常用 𝑉={𝑣1,𝑣2,…,𝑣𝑀}V={v1,v2,…,vM} 表示。初始状态概率（Initial State Probabilities）: 各个隐藏状态的初始概率，通常用 𝜋={𝜋𝑖}π={πi} 表示，其中 𝜋𝑖=𝑃(𝑠𝑖)πi=P(si)。
2024-05-19 20:33:45
736
原创 自然语言处理-维特比算法
状态集合（States）: 隐藏状态的集合，通常用 𝑆={𝑠1,𝑠2,…,𝑠𝑁}S={s1,s2,…,sN} 表示。观测集合（Observations）: 可以观测到的输出集合，通常用 𝑉={𝑣1,𝑣2,…,𝑣𝑀}V={v1,v2,…,vM} 表示。初始状态概率（Initial State Probabilities）: 各个隐藏状态的初始概率，通常用 𝜋={𝜋𝑖}π={πi} 表示，其中 𝜋𝑖=𝑃(𝑠𝑖)πi=P(si)。
2024-05-19 20:31:43
890
原创 NLP自然语言处理-多头注意力
Masked Multi-Head Attention通过引入掩码机制，确保在自回归任务中模型只能访问历史信息，从而保证预测的顺序性。结合多头注意力，它能够有效捕捉输入序列中的不同层次和不同位置的上下文信息，提高模型的灵活性和准确性。这一机制是Transformer及其变体成功的关键因素之一。
2024-05-17 08:44:47
872
原创 自然语言处理NLP-encoderdecoder attn
Encoder-Decoder Attention机制是现代NLP模型中的一个核心组件，尤其在处理序列到序列任务时极为有效。它通过引入注意力权重，使模型能够动态地关注输入序列中的不同部分，提升了模型在长序列处理中的性能。这个机制不仅在机器翻译中表现优异，也被广泛应用于文本生成、摘要、对话系统等任务中。
2024-05-17 08:44:11
572
原创 自然语言处理NLP-encoderdecoder attn
Encoder-Decoder Attention机制是现代NLP模型中的一个核心组件，尤其在处理序列到序列任务时极为有效。它通过引入注意力权重，使模型能够动态地关注输入序列中的不同部分，提升了模型在长序列处理中的性能。这个机制不仅在机器翻译中表现优异，也被广泛应用于文本生成、摘要、对话系统等任务中。
2024-05-17 08:43:26
781
原创 python高阶-map函数
函数是Python内置的一个高阶函数，它接收一个函数和一个可迭代对象（如列表、元组等）作为参数，然后对该可迭代对象中的每个元素依次应用该函数，返回一个迭代器，包含了所有经过函数处理后的结果。中的每个元素，返回了一个包含每个元素的平方的迭代器，然后通过。中的每个元素，返回一个迭代器，包含了所有元素经过。函数将这个迭代器转换为列表。
2024-05-11 10:40:04
231
1
原创 强化学习四要素
2.强化学习算法的目标强化学习算法的目标是获得最多的累计奖励（正反馈）。以“幼童学习走路”为例：幼童学习走路时，没有人指导他应该如何完成“走路”，他需要通过不断的尝试和外界对他的反馈来学习。幼童通过不断尝试和调整，找出了一套最佳的策略，这套策略能使他获得最多的巧克力。2）反馈是延迟的，不是立即生成的。Agent的行为会影响以后所有的决策。强化学习主要包含4个元素：智能体（Agent），环境状态（State），行动（Action），反馈（Reward），它们之间的关系如图1.8所示，详细定义如下所示。
2024-05-09 19:12:56
442
原创 深度学习state_dict介绍
是一个Python字典对象，用于保存模型的参数。它是PyTorch中模型的内部状态的一种序列化表示形式，能够保存模型的结构和参数，并且可以被用来在不同的PyTorch程序之间保存和加载模型。是PyTorch中非常重要的一个概念，它为模型的保存、加载、迁移等操作提供了便利和灵活性。在PyTorch中，
2024-05-08 10:13:48
238
原创 机器学习-交叉熵损失及其题目
具体来说，对于一个分类问题，假设有n个类别，每个样本的真实标签用一个长度为n的向量表示，其中只有一个元素为1，其余元素为0，表示该样本属于的类别。它用于衡量两个概率分布之间的差异性，通常在训练分类模型时用来衡量模型输出的预测值与真实标签之间的差距。交叉熵损失的特点是当模型的预测值与真实值之间的差距越大时，损失函数的值越大，反之亦然。假设我们有一个二分类的问题，真实标签为𝑦=[1,0]y=[1,0]，而模型的输出概率为𝑦^=[0.8,0.2]y^=[0.8,0.2]。请计算使用交叉熵损失函数得到的损失值。
2024-05-08 10:13:09
233
原创 机器学习term整理
ROC 曲线下的面积。ROC 曲线是根据分类模型的真正例率（True Positive Rate，TPR，又称为灵敏度）和假正例率（False Positive Rate，FPR）绘制的曲线。AUC 表示模型在不同阈值下的性能，值越接近 1，表示模型的性能越好。它通过计算特征的每个分箱（bin）的 WoE（Weight of Evidence）值和每个分箱的事件率（即正例率）之间的乘积的总和来计算。PSI 用于评估模型在不同样本群体之间的稳定性，即模型在不同时间段、不同数据集或不同群体之间的预测一致性。
2024-04-25 18:38:52
213
原创 机器学习L1正则化
换句话说，L1 正则化的优化目标是在最小化损失函数的同时尽量减小权重的绝对值之和，这会导致在权重空间中存在多个稀疏解，其中许多解对应着某些特征的权重被压缩至零。L1 正则化的主要特点是在损失函数中加入了权重的 L1 范数作为惩罚项。这个惩罚项的作用是使得模型在拟合数据的同时尽量保持权重的稀疏性，即让某些权重趋向于零。这导致了在权重空间中存在许多解，其中许多解具有稀疏性，即许多特征的权重被压缩至零。优化的目标是最小化损失函数，同时尽量减小权重的绝对值之和。由于绝对值函数 ∣𝑤𝑗∣∣。∣损失=MSE+λ。
2024-04-25 18:26:02
279
原创 机器学习多特征筛选
是一种特征选择算法，用于识别对于预测目标最重要的特征。它基于随机森林的思想，通过比较原始特征和随机生成的影子特征（即随机排列的原始特征）来确定特征的重要性。VIF 用于衡量特征间的多重共线性程度，当 VIF 值超过一定阈值时，就说明存在较强的共线性，需要对特征进行处理，例如删除相关性较强的特征或者进行其他形式的特征选择。综上所述，星座特征通常不被视为重要的特征，而 Boruta 算法、VIF 和递归特征消除是常用的特征选择技术，它们可以帮助我们确定对于预测目标最重要的特征，从而提高模型的性能和解释性。
2024-04-25 18:12:44
125
原创 机器学习三大相关性
综上所述，选择合适的相关系数需要根据数据类型、分布特征以及研究问题的假设条件来确定。在实际应用中，可以根据数据的特点和假设条件选择最适合的相关系数来进行分析。这些相关系数都提供了一种衡量变量之间关系的方法，但它们适用于不同类型的数据和不同的假设条件。在选择合适的相关系数时，需要考虑数据的性质以及研究的问题。
2024-04-25 12:11:35
363
原创 机器学习单特征指标
在机器学习中，有几个重要的概念需要考虑，包括覆盖度（Coverage）、区分度（Discrimination）、相关性（Correlation）和稳定性（Stability）。这些概念在特征选择、模型评估以及模型解释中起着重要的作用。在进行特征工程和模型训练时，需要综合考虑这些因素，以确保构建出稳健且具有预测能力的模型。
2024-04-25 12:02:31
215
原创 机器学习-信息价值IV概念和例题
IV 值越高，表示特征对目标变量的预测能力越强，也就是说，该特征越有助于区分不同类别或者预测目标。首先，我们需要对信用评分进行分箱处理，然后计算每个箱中好坏客户的比例，最后根据 IV 值的公式计算 IV。好的，让我来计算一下每个分箱的 IV 贡献，然后将它们加总以得到信用评分的总 IV 值。现在，我们来计算每个箱的 IV 贡献，然后将它们加总以得到信用评分的总 IV 值。通过计算，得到每个箱的 IV 贡献，然后加总，即可得到信用评分的总 IV 值。所以，信用评分的 IV 值约为 2.384。
2024-04-25 11:56:53
1505
原创 机器学习分箱方法
Chi-Square 分箱 ('chi'):Chi-Square 分箱 （'chi'）：决策树分箱 ('dt'):分位数分箱 ('quantile'):等距分箱 ('step'):K均值聚类分箱 ('kmeans'):
2024-04-25 11:44:19
200
原创 卡方分箱实例
类是用于特征分箱（binning）的。分箱是指将连续型数据分成若干个区间（箱子），以便于离散化处理。在机器学习中，分箱通常用于特征工程中，能够提高模型的鲁棒性和解释性。是目标变量（也就是你想要预测的列，这里是 'creditability'），方法以字典的形式保存分箱结果，你可以在字典中按照特征名查看相应的分箱结果。打印了名为 'duration.in.month' 的特征的分箱结果。是分箱的方法（这里是 'chi'，可能是基于卡方检验的分箱方法），是每个箱子最小样本量的限制。在你提供的代码中，首先通过。
2024-04-25 11:39:11
315
原创 机器学习各类编码方式
One-Hot Encoding（独热编码）：Label Encoding（标签编码）：WOE Encoding（Weight of Evidence 编码）：WOE编码（证据权重编码）：
2024-04-25 10:24:17
202
原创 机器学习要素
学习目标掌握如何构建机器学习模型掌握构建机器学习三要素统计学习 = 模型 + 策略 + 算法 模型：规律 y = wx + b 策略：什么样的模型是好的模型？损失函数 算法：如何高效找到最优参数, 模型中的参数a和b在讲解三要素之前，我们首先了解处理一个机器学习任务需要有那些步骤或流程？
2024-04-25 10:02:45
187
原创 机器学习算法和模型的区别
因此，算法和模型是两个不同的概念，但它们通常是紧密相关的，因为在实际应用中，算法通常被用于数据预处理和模型构建的过程中。
2024-04-25 09:58:59
671
原创 机器学习fit方法
这些参数的具体含义可能会根据具体的机器学习库和模型类而有所不同，但通常情况下，它们是用于控制模型训练过程的各个方面的。不同的机器学习库和模型类可能具有不同的参数，但是有一些通用的参数在大多数情况下都存在。在机器学习中，通常通过调用。
2024-04-25 09:58:11
574
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人