- 博客(44)
- 收藏
- 关注
RSS订阅原创 时间复杂度计算
当我们说一个表达式的时间复杂度是 ( O(g(n)) )，我们指的是当 ( n ) 趋近无穷大时，表达式的增长率与 ( g(n) ) 的增长率相似。将这两部分结合起来，整体的时间复杂度由第一部分和第二部分共同决定。的时间复杂度是一样的，因为常数系数对于大 O 表示法不影响最终的阶。的时间复杂度，我们需要分析它的增长率随着 (n) 的变化。随着 n 的增长， n!因此，随着 (n) 的增大，分子和分母的主导项分别是。的增长率相同，都是阶乘增长。，所以整体来看，主导的增长率是由第一部分决定的。
2024-06-30 16:04:29
232
原创 推荐系统学习记录——数据稀疏性衡量
在推荐系统中，数据稀疏性通常通过计算用户-物品交互矩阵的稀疏度来衡量。用户-物品交互矩阵是一个二维矩阵，其中行表示用户，列表示物品，矩阵中的每个元素表示用户对物品的交互情况（如评分、点击、购买等），如果用户与物品有交互，则对应位置的元素不为空；通过计算数据集的稀疏度，可以帮助推荐系统的开发者和研究者了解数据集的特点，从而采取相应的策略来处理数据稀疏性，提高推荐系统的性能和效果。一般来说，密度越高，稀疏度越低，表示数据集中的交互数据越丰富；而密度越低，稀疏度越高，表示数据集中的交互数据越稀疏。
2024-04-15 10:12:39
395
原创 推荐系统学习记录——连续的嵌入空间
推荐系统通常会将用户和项目（或商品）表示为向量或嵌入（embeddings），这些向量被映射到一个称为嵌入空间（embedding space）的数学空间中。这种方法使得推荐系统能够根据用户的行为或偏好来找到与之相似的项目，从而进行个性化的推荐。当用户和项目被映射到连续嵌入空间时，在这个空间中，找到相似的项目就意味着。
2024-04-12 20:17:38
292
原创 图神经网络学习记录——滤波操作
滤波器可以根据其频率响应的特性将特定频率范围的信号分离出来或抑制掉。常见的滤波器类型包括低通滤波器、高通滤波器、带通滤波器和带阻滤波器。信号处理中，滤波是对信号进行频率选择性处理的过程。
2024-04-08 15:28:18
317
原创 推荐系统学习记录——BERT、SBERT
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google研究团队于2018年提出。它采用Transformer架构，并在大型文本语料库上进行了无监督的预训练。它通过对BERT进行微调或进一步训练，使得BERT能够直接产生句子级别的语义向量。这些向量可以在语义空间中捕捉句子的含义，从而用于各种句子级别的自然语言处理任务，如文本相似度计算、句子分类等。，因此在处理各种自然语言处理任务时表现出色。
2024-04-07 14:36:36
451
原创 推荐系统学习记录——BPR、iMF
BPR是一种经典的个性化推荐算法，旨在解决推荐系统中的Top-N推荐问题。它基于隐式反馈数据，如用户点击、购买或观看历史，通过学习用户对物品的偏好来进行推荐。iMF是一种基于矩阵因式分解的个性化推荐算法。它将用户-物品交互矩阵分解为用户因子矩阵和物品因子矩阵，通过学习这些因子来捕捉用户和物品之间的潜在关系。iMF通常用于解决推荐系统中的评分预测问题，即预测用户对尚未交互的物品的评分。：iMF通过将用户-物品交互矩阵分解为用户因子矩阵和物品因子矩阵来学习用户和物品的表示向量。的评分，N表示训练样本数量。
2024-04-07 14:29:20
344
原创 学习记录——Pareto最优解
在决策分析、工程设计、资源分配等领域，Pareto最优解的概念被广泛应用，以帮助决策者更好地理解和权衡不同目标之间的关系，从而做出更合理的决策和规划。问题中，无法再改善一个目标函数的值而不损害其他目标函数值的解决方案。换句话说，如果存在两个或多个优化目标，一个解被认为是Pareto最优解，Pareto最优解指的是在。
2024-03-27 14:12:38
229
原创 推荐系统公平性指标——DP和EO的区别
力求在不同群体中实现相似的预测结果。举例来说，对于不同种族、不同收入水平或不同地区的申请人，模型将会根据他们的特定情况和偏好进行预测，并尽量使得不同群体的贷款获批概率更加接近和相似，而不是简单地以整体数据为依据进行审批决策。对于用户群体A，他们被推荐了大量家居用品，这与他们的偏好相悖，导致购买率下降。对于用户群体B，他们则被推荐了许多运动鞋和健身器材，同样也无法吸引他们的兴趣。具体来说，EO关注的是在不同的用户群体中，实现相似的预测结果，对于以上情况，仅使用DP方法进行推荐，
2024-03-26 20:45:33
592
原创 学习记录——集成学习 Bagging（Bootstrap Aggregating）
从原始训练集中随机抽取多个不同的训练子集（可能包含重复样本），然后针对每个子集分别训练一个基学习器。最终的预测结果是所有基学习器预测结果的平均值（回归问题）或投票表决（分类问题）。它通过构建多个基学习器（通常是相同类型的模型），并结合它们的预测结果来减少方差和提高准确性。提高稳定性：由于每个基学习器都是在不同的训练子集上训练的，因此模型更稳定。可能会影响模型的解释性：由于集成了多个模型，最终预测结果可能较难解释。降低过拟合风险：通过组合多个模型的预测结果，减少了单个模型的方差，提高了泛化能力。
2024-03-26 19:21:36
482
原创 推荐系统学习记录——数据增强
数据增强是指通过一系列技术手段来扩充已有数据集的方法，旨在提高机器学习模型的性能和鲁棒性。数据增强的方法可以包括但不限于：图像旋转、翻转、裁剪、缩放、添加噪声、颜色变换等；对文本数据的增强可以包括同义词替换、句子重组、插入噪音等。通过数据增强，可以生成更多、更丰富的训练样本，有助于训练出更加健壮的机器学习模型，尤其在数据量不足的情况下，数据增强对于提升模型性能尤为重要。
2024-03-25 17:34:08
283
原创 学习记录——与模型无关的框架
与模型无关的框架通常指的是能够独立于具体机器学习模型或算法的框架或工具。这样的框架提供了一种通用的方式来处理数据、构建模型、训练模型和进行预测，而不依赖于特定的模型结构或算法。
2024-03-25 16:41:46
148
原创 推荐系统学习——动态负采样（DNS）
DNS（Dynamic Negative Sampling）是一种负采样方法，它在Word2Vec模型的训练中提出，用于解决传统负采样方法中难以平衡高频词和低频词的问题。在Word2Vec等词向量模型中，通常需要从上下文中选取正样本词和负样本词进行训练，而传统的负采样方法中采样概率是固定的，导致在训练过程中无法很好地处理高频词和低频词之间的权衡关系。通常情况下，低频词被选为负样本的概率较高，而高频词的概率较低，从而实现了对高频词和低频词的平衡采样。2.DNS主要解决了什么问题。3.DNS动态负采样的过程。
2024-03-25 11:07:39
187
原创 推荐系统学习——NNCF(利用网络生成的候选样本进行负采样)
在传统的负采样方法中，负样本是通过随机采样来获得的，而在NNCF中，负样本是通过利用神经网络模型生成的候选样本进行筛选获得的。传统的负采样方法在获取负样本时通常是通过对整个词汇表进行随机采样，这种方式可能导致选取的负样本与正样本的语义关系较弱，从而影响模型的训练效果。NNCF 通过利用神经网络生成的候选样本并进行筛选，可以更好地捕捉语义和语境信息，提高了负样本的质量，从而改善了模型的训练效果。：接下来，利用一定的策略或者是另一个神经网络模型，对生成的候选负样本进行筛选，以获得最终的负样本集合。
2024-03-25 10:50:34
267
原创 推荐系统学习——单图负采样 (UNS)
在UNS中，负采样的概率与单词的频率有关，高频词被选为负样本的概率较大，低频词被选为负样本的概率较小。：在传统的训练词向量模型中，通常需要对整个词汇表进行softmax计算，以确定目标词与上下文词的关系。UNS 通过负采样的方式，这样，相比于传统的负采样方法，UNS 能够更好地平衡高频词和低频词在负采样中的权重，提高模型的训练效果。在 UNS 中，负采样的概率与单词的频率有关。：UNS 通过负采样的方式，可以更好地学习词向量，特别是针对频率较低的词汇，以及更好地捕捉词汇之间的语义关系。
2024-03-25 10:33:03
432
原创 神经网络学习记录——知识蒸馏、软标签、硬标签
知识蒸馏（Knowledge Distillation）是一种模型压缩技术，旨在通过训练一个大型、复杂的“教师”模型来传递其知识给一个小型、简单的“学生”模型。在知识蒸馏中，学生模型试图学习教师模型的行为和决策过程，以便在保持性能的同时减少模型的规模和计算量。硬标签是指在分类问题中使用的传统标签形式，通常是独热编码（one-hot encoding）的形式，其中每个样本只有一个类别被标记为1，其余为0。
2024-03-22 16:49:37
1078
原创 神经网络学习记录——多层感知机（MLP）
MLP 是一种最基本的前馈神经网络。它包含一个输入层、一个或多个隐藏层以及一个输出层。每一层都由多个神经元组成，每个神经元与下一层的每个神经元相连。在 MLP 中，每个神经元都使用激活函数来引入非线性特性。常见的激活函数包括 Sigmoid、Tanh 和 ReLU 等。通过多层神经元的组合和激活函数的非线性作用，MLP 能够学习复杂的非线性关系，从而适用于各种机器学习任务。
2024-03-22 16:34:34
426
原创 推荐系统学习记录——人口均等距离（Demographic Parity Distance）
这种度量方法旨在确保在不同人口群体之间，模型的预测结果具有相似的概率分布，从而减少因群体属性而引起的不公平性。给定一个特定的预测结果和真实标签，Demographic Parity Distance度量了不同群体之间预测概率分布的差异。具体来说，对于每个可能的输出类别，该指标计算了不同群体中该类别的预测概率分布之间的距离。：对于每个群体，使用模型对数据样本进行预测，并计算每个可能的输出类别的预测概率分布。：将不同类别的距离度量综合成一个单一的度量值，通常使用平均值或加权平均值来综合考虑各个类别的差异。
2024-03-22 16:09:54
196
原创 学习记录——两个随机变量相关性的衡量指标
用于衡量两个连续型随机变量之间线性相关性的强度和方向。取值范围在-1到1之间，接近1表示正相关，接近-1表示负相关，接近0表示无线性相关。用于衡量两个随机变量之间的单调相关性，不要求数据服从正态分布。用于衡量两个概率分布之间的差异性，衡量在一个概率分布下产生的信息量相对于另一个分布所需要的额外信息量。用于衡量两个随机变量之间的差异或相似程度，由两个随机变量在各点上的最大差值来表示。表示两个随机变量对应的秩次之差，n表示样本数量。其中，P和Q分别表示两个概率分布。分别表示两个随机变量的均值，n表示样本数量。
2024-03-21 13:52:24
496
原创 学习记录——香农熵
其中，p(x)表示随机变量X取某个值x的概率，log2表示以2为底的对数运算。这个公式表示了对每个可能取值x，用该值的概率乘以以2为底的对数概率的负值，然后将所有可能取值的结果相加，就得到了香农熵的值。假设有一个数据集包含了一些动物及其对应的分类（"是"或"否"）。我们想要计算这个数据集的香农熵，以了解其中信息的混乱程度。（2） 在这个例子中，我们需要计算数据集中两种分类（"是"和"否"）的香农熵。（1）首先，我们需要计算数据集中每个分类的频率，然后根据频率计算香农熵。分类 "是" 的频率为。
2024-03-21 11:04:14
545
原创 图神经网络学习——灵敏度分析
在机器学习领域，特别是在超参数选择方面，灵敏度分析可以帮助我们了解模型在不同超参数设置下的表现，并帮助确定最佳的超参数组合。进行灵敏度分析的实验通常会对特定的超参数或输入参数进行变化，然后观察模型性能的变化情况。：框架在不同参数设置下的表现应该具有一定的鲁棒性，即使参数取值在一定范围内波动，框架的性能也能够保持在一个相对稳定的水平。通过对比不同参数取值下的实验结果，可以评价框架的灵敏度，如果框架在不同参数设置下表现出明显的变化，则说明其灵敏度较高。这样的模型通常更容易泛化到新的数据并具有更好的性能表现。
2024-03-18 16:39:06
861
原创 图神经网络学习——正则化项
在机器学习中，正则化项是为了控制模型复杂度而添加到损失函数中的一种额外项。正则化项通常用于防止模型过拟合训练数据，帮助模型更好地泛化到未见过的数据。
2024-03-18 16:08:31
590
原创 机器学习模型的常见性能指标
在二分类问题中，TP（True Positives）、FP（False Positives）、TN（True Negatives）和FN（False Negatives）是混淆矩阵的四个基本组成部分。R平方的计算方式较为复杂，它衡量了模型对目标变量方差的解释能力，其计算涉及实际值和预测值之间的差异。对数损失通常用于概率预测问题，其计算公式比较复杂，涉及到真实标签和预测概率之间的对数计算。首先计算每个类别的精确率-召回率曲线下的面积，然后对所有类别的面积取平均。的工具，它以分类阈值为变化的基础上绘制了。
2024-03-18 15:14:52
1656
原创 图神经网络学习超参数调整方式——交叉验证集上的网格搜索
在这个过程中，我们首先定义一个超参数网格，包含了我们想要调整的超参数及其可能的取值范围。然后，针对每个超参数组合，使用交叉验证来评估模型的性能，最终选择表现最好的超参数组合。对于k折交叉验证，数据被分成k个子集，然后进行k次模型训练和验证，每次使用其中一个子集作为验证集，其余子集作为训练集。交叉验证集上的网格搜索是一种用于调整模型超参数的常见方法，特别是在机器学习和深度学习任务中。交叉验证集上的网格搜索是一种有效的超参数调整方法，可以帮助我们找到在未见数据上表现最好的模型配置。作为最终的性能评估指标。
2024-03-16 20:10:11
416
1
原创 图神经网络学习概念辨析——模型参数和超参数
超参数需要手动设置，并且不会随着训练过程而更新，通常需要通过交叉验证等方法来选择最佳的超参数组合。正确设置和调整模型参数和超参数对于构建高性能的机器学习模型至关重要。：超参数是在训练模型之前设置的参数，用于控制模型的学习过程和结构，而非通过训练数据学习得到。：超参数影响模型的学习速度、复杂度和泛化能力，选择合适的超参数可以提高模型性能并防止过拟合。：模型参数是指模型内部可被学习调整的参数，用于描述数据特征和目标变量之间的关系。：模型参数是通过训练数据来学习和更新的，目的是使模型能够最好地拟合训练数据。
2024-03-16 20:06:30
489
原创 图神经网络学习——激活函数
激活函数是神经网络中的一种函数，通常应用于每个神经元的输出，以确定神经元的激活状态。在神经网络中，激活函数将神经元的输入加权和进行非线性变换，得到神经元的输出。
2024-03-16 19:47:40
448
1
原创 图神经网络学习——损失函数、梯度下降算法概念辨析
损失函数用于衡量模型输出与真实标签之间的差异，在模型训练过程中损失函数越小说明模型预测或者分类任务的精确度越高。这需要不断调整更新损失函数中的参数，让参数达到最佳值。这些是常见的损失函数，选择合适的损失函数取决于所解决的任务类型和模型结构。在机器学习和深度学习中，损失函数通常用来衡量模型的预测误差，帮助优化算法调整模型参数以使预测结果尽可能接近真实标签。：重复进行前向传播、损失计算、反向传播和参数更新的过程，直到模型收敛或达到设定的停止条件。：计算损失函数关于参数的梯度，即损失函数对每个参数的偏导数。
2024-03-16 17:16:46
1945
2
原创 图神经网络学习——隐藏表示的最大偏差
当隐藏表示的最大偏差过大时，一些节点的表示可能会被过度夸大，而另一些节点的表示则可能被过度低估，这可能导致模型在预测或分类时对不同节点的处理存在较大误差，使得模型无法有效地捕捉到图结构中节点之间的关系和特征。为了解决隐藏表示的最大偏差问题，研究者通常会采取一些方法，例如引入合适的正则化项、设计合理的损失函数、使用归一化技术等，以确保节点的隐藏表示能够在训练过程中保持一定的平衡，从而提高模型的鲁棒性和泛化能力。一种常见的衡量方法是计算节点表示的标准差或范数，以检验表示之间的差异程度。个节点的隐藏表示向量，
2024-03-16 16:02:59
358
1
原创 图神经网络学习——过平滑问题
这可能导致图神经网络在学习节点特征时丧失了原始图结构中的微观差异性，使得节点间的信息难以区分。中，因为在每一轮迭代更新过程中，节点会不断地。在图神经网络（GNNs）中，，从而影响了模型对图结构的有效建模能力。过平滑问题通常出现在。
2024-03-16 15:46:23
643
1
原创 神经网络训练过程——归一化理解
归一化操作是指对数据进行处理，使其符合一定的标准或范围，以便更好地适应模型的训练和提高数据的可比性。在深度学习中，归一化操作主要是对输入数据进行线性或非线性变换，使其均值为0，方差为1，或者将数据缩放到特定的范围内，如[0, 1]或[-1, 1]等。通过归一化操作，可以消除数据特征之间的量纲影响，加速模型的收敛速度，提高模型的准确性和泛化能力。
2024-03-16 15:35:24
2052
1
原创 图神经网络概念理解——隐藏表示
在深度学习任务中，隐藏表示往往位于神经网络结构的中间层，可以理解为对输入数据进行了一系列非线性变换后得到的新的数据表征。通过隐藏表示，神经网络可以学习到数据中的复杂特征和模式，从而实现对输入数据的有效建模和预测。隐藏表示的作用在于将原始的输入数据通过神经网络的学习和变换，转化为更有意义、更具代表性的特征表示，这些特征表示可以用于模型的预测、分类或其他任务。在神经网络的训练过程中，输入数据经过多个隐藏层的非线性变换和组合后，最终得到隐藏表示，这些表示可以包含数据的高级抽象特征。
2024-03-16 14:47:22
481
1
原创 推荐系统公平性衡量指标——统计奇偶性、平等机会
在推荐系统中，平等机会指标通常关注的是对于某个特定属性（如阳性类别）的用户，推荐系统是否为他们提供了相似的机会（即有相似的推荐概率）。：统计奇偶性指标关注的是推荐结果在不同用户群体之间的分布是否相对均衡。在推荐系统中，一个常见的统计奇偶性指标是通过比较不同群体（如性别、年龄、种族等）中获得推荐的比例来评估公平性。在推荐系统公平性中，统计奇偶性和平等机会是两种常用的公平性指标。较小，则说明对于购买该产品，男性和女性用户具有相似的机会，符合平等机会。较小，则说明在推荐结果中性别之间的差异较小，符合统计奇偶性。
2024-03-16 14:38:50
399
1
原创 语义级注意力向量q是怎么得到的
接下来，可以使用这个向量来度量特定语义节点表示与 q 之间的相似度，从而得到元路径对于不同节点的重要性。然后，我们可以通过一个具有参数 W 的线性变换（例如全连接层）将 h 投影到一个低维的向量空间，得到语义级注意力向量 q。需要注意的是，语义级注意力向量 q 的生成方式可能因任务而异，上述提到的投影过程只是其中一种可能的实现方式。假设我们有一个特定语义的节点表示 h，维度为 5，投影矩阵 W 的维度为 5x3，然后我们使用 ReLU 作为非线性激活函数。之间的相似度，得到元路径对于不同节点的重要性。
2024-03-15 15:26:27
323
1
原创 将不同特征投影到同一映射空间学习理解
举个例子来说明这个过程：假设我们有一个图神经网络模型，需要处理社交网络数据，其中节点包含用户的属性信息（如年龄、性别）、社交关系信息（如朋友关系）和行为信息（如喜欢的内容）。在论文中经常提到的将不同特征投影到同一映射空间是指通过一个非线性的神经网络映射层，将不同特征的表示投影到一个共享的特征空间，以便模型能够更好地学习和理解不同特征之间的关系。通过这样的投影过程，不同类型的特征被映射到了同一个特征空间中，使得模型可以更好地学习和理解不同特征之间的关系。假设我们有一个用户的属性特征向量为。
2024-03-15 11:03:37
553
1
原创 语义级注意力理解
这些模型可以将单词或短语映射到连续的向量空间中，从而捕获它们的语义信息。假设我们使用一个预训练的Word2Vec模型，我们可以尝试在一个简单的例子中计算语义级嵌入。假设我们有一个简单的知识图谱三元组：（"北京", "是首都", "中国"）。这样，我们就得到了整个三元组（"北京", "是首都", "中国"）的语义级嵌入向量。接下来，我们可以通过组合这些嵌入向量来计算整个三元组的语义级嵌入。一般来说，计算语义级嵌入的过程涉及将实体和关系的嵌入向量组合起来以获得整个三元组的表示。
2024-03-14 20:18:48
355
1
原创 expand函数理解
expanded_beta = beta.expand((z.shape[0],) + beta.shape) # 扩展beta tensor。beta = torch.tensor([[1, 2, 3], [4, 5, 6]]) # 原始的beta tensor。z = torch.randn(4, 10) # z tensor，用于确定扩展后的维度。print(expanded_beta.shape) # 输出：torch.Size([4, 2, 3])
2024-03-13 20:57:20
337
原创 学习记录之字符串打印
print('大家好，我叫{name},来自{city},毕业于{school}。'.format(name='小明',city='厦门',school='清华大学'))print('大家好，我叫{0},来自{1},毕业于{2}。print('大家好，我叫{},来自{},毕业于{}。print('大家好，我叫%s,来自%s,毕业于%s。print(f"大家好，我叫{name},来自{city},毕业于{school}")print('本月我还剩余'+str(gz)+'元。school='清华大学'
2024-03-13 20:44:29
102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人