- 博客(161)
- 收藏
- 关注
RSS订阅原创 torch.mul(),torch.mm(),torch.dot(),torch.mv()
向量(即只能是一维的张量)的对应位相乘再求和，返回一个tensor数值()。a，b必须都是一维。：矩阵正常的矩阵相乘，（a, b）* ( b, c ) = ( a, c )：矩阵的点乘，即对应的位相乘，要求shape一样, 返回的还是个矩阵。矩阵和向量相乘，类似于torch.mm()
2023-07-30 16:07:57
371
原创 跑代码时不显示info、future_waring、tensorflow warning
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # 不显示等级2以下的提示信息 import tensorflow as tf。# 使用 warnings 抑制第三方警告。tensorflow下面加上如下一句。
2023-07-22 17:21:03
289
原创 Self-supervised Graph Learning for Recommendation(SGL)
（作者给出了Pytorch和Tensorflow两个版本）本文提出了一种应用于的框架。核心的思想是，对用户-物品二部图做，增强后的图可以看做原始图的子视图；在子视图上使用任意的图卷积操作，如LightGCN来提取结点的表征，对于同一个结点，多个视图就能形成多种表征；然后借鉴[5]的思路，构造自监督学习任务：最大化同一个结点不同视图表征之间的相似性，最小化不同结点表征之间的相似性；最后和联合起来，构成多任务学习的范式，具体如下图所示。
2023-07-09 16:52:46
1178
原创 lstm古诗生成-pytorch
本文使用LSTM生成古诗，那么RNN是怎么用作我们的文本生成呢?话不多说,其实用RNN来生成的思想很简单, 就是将前一个字进行词嵌入,后一个字作为标签,将这个组合输入到RNN的网络里面等待训练拟合之后,再用一个引导词,训练出它的预测结果,再用其预测结果,来训练下一个词,循环往复,从而实现RNN生成文本的效果
2023-05-30 21:12:40
1124
2
原创 Latent Structure Mining with Contrastive Modality Fusion for Multimedia Recommendation
基于协同过滤的方法通常会遭受冷启动等问题，如MMGCN和LightGCN等，此类方法的普遍思想是通过在用户-物品二部图上传递高阶协同信息来增强用户/物品表示。这种方法存在一个问题，如下图所示，用户1和衬衫、帽子、短裤发生过交互，用户2和帽子，短裤发生过交互。现在要给用户2推荐物品，若采用基于协同过滤的方法，GCN在信息传递时，被交互过的物品的信息会以协同信号的形式在二部图中进行传播，用户2也会聚合到物衬衫的特征，所以衬衫会很自然的推荐给用户2。
2023-05-29 15:48:40
247
原创 Interest-aware Message-Passing GCN for Recommendation(www 21)
GCN信息聚合的模式非常适合推荐，但众所周知在模型设计的时候通常只能堆叠2-3层，再多就会出现过平滑问题（结点特征之间没有区分度），LightGCN证明了GCN中的特征转化和非线性激活不适用于协同过滤，通过去除这两个组件可在一定程度上缓解过平滑问题，使得模型可以堆叠更多层（将层数拓展到了4层左右），LightGCN信息聚合方式如下，可以看到是对邻居特征进行简单加权求和，无筛选机制，在高层信息聚合时会因兴趣不相同邻居用户的存在，而引入噪声，使得学到的特征向量次优。本文根据用户兴趣对用户进行了分组（）
2023-05-08 17:36:52
847
原创 Collaborative Metric Learning(www 2017)
传统基于MF的模型，将特征向量的点积作为预测结果，这存在一个很大的问题，即dot product 不满足三角不等式），这会导致学到的特征向量次优（难以捕捉用户细粒度的偏好）。本文提出了一种Collaborative+Metric Learning模型，不仅能捕捉用户细粒度偏好，还可以捕捉用户-用户/物品-物品相似性。
2023-04-30 17:30:57
931
原创 mnist手写数据集识别(pytorch)
每张图片是28 × 28 的0 − 9的手写数字图片组成。测试数据集标签：t10k-labels-idx1-ubyte.gz（4.43 KB，包含10,000个样本的标签）。训练数据集标签：train-labels-idx1-ubyte.gz（28.2 KB，包含60,000个标签）。训练数据集：train-images-idx3-ubyte.gz （9.45 MB，包含60,000个样本）。测试数据集：t10k-images-idx3-ubyte.gz（1.57 MB ，包含10,000个样本）。
2023-04-25 15:57:41
347
原创 mnist-手写数据集识别（tensorflow）
每张图片是28 × 28 的0 − 9的手写数字图片组成。训练集和测试集为形如：[0,0,0,0.435,0.754,0.760,0.320,0,0,⋯,0,0,0] 的 1x784的向量。测试数据集标签：t10k-labels-idx1-ubyte.gz（4.43 KB，包含10,000个样本的标签）。训练数据集标签：train-labels-idx1-ubyte.gz（28.2 KB，包含60,000个标签）。标签为形如：[0,0,0,0,0,1,0,0,0,0] 的 1x10的one-hot编码。
2023-04-24 20:45:38
321
原创 User Diverse Preference Modeling by Multimodal Attentive Metric Learning
现有模型通常采用一个固定向量去表示用户偏好，在假设——特征向量每一个维度都代表了用户的一种特性或者一个方面，这种方式似乎不妥，因为用户对于不同物品的偏好是不一样的，例如因演员喜欢一部电影，而因特效而喜欢另一部特效，鉴于此，本文采用注意力和度量学习方式，使得用户特征向量随着物品的不同而变化。
2023-04-23 21:45:32
481
原创 Disentangled Graph Collaborative Filtering
现有模型在很大程度上以统一的方式对用户-物品关系进行建模(将模型看做黑盒，历史交互作为输入，Embedding作为输出。)，这会忽略用户意图的多样性（用户看一个视频可能是因为消磨时间、喜欢里面的演员等多种意图）导致representation次优。本文提出，将embedding划分成多个部分，每一部分单独表示一种意图，各部分之间相互独立，实现意图的解耦。
2023-04-17 17:43:40
642
原创 Graph-Refined Convolutional Network for Multimedia Recommendation with Implicit Feedback
本文针对GCN进行改进。用户的历史交互序列中，可能存在假阳性物品，会通过消息传递的方式对用户的兴趣表征造成污染。本文提出了一种软剪枝的方法，旨在切断与假阳性物品连接的边。形式上与GAT很相识，但性能却提升了很多，总的来说本文模型为：注意力+GNN。
2023-04-06 18:17:03
232
原创 Multi-Modal Self-Supervised Learning for Recommendation
一、现有模型局限性：现有的多模态推荐模型虽然引入多模态信息来增强itemembedding。但模型的表示能力受限于用户行为稀疏性(可从两个方面考虑：1、例如文本特征是从视频评论中提取的，如果评论量太少则无法很好表示视频信息。2、用户兴趣通过交互过的物品进行表征，若与用户交互过的物品数量过少，则无法很好表示用户兴趣)。而真实环境下用户的交互行为是非常有限的，所以很难建模出用户准确偏好。二、现有自监督学习中数据增强的局限性：数据增强时忽略了用于增强的多模态特征，可能会阻碍SSL任务提取信息的有效性。
2023-04-03 09:29:26
785
原创 快手-《Disentangled Causal Embedding With Contrastive Learning For Recommender System》 精读
用户和物品产生交互，不光源于用户的兴趣，还可能是因为从众。如果直接通过历史交互序列对用户兴趣进行建模， 所得到的特征向量中用户的兴趣和从众纠缠在一起，对于训练集和测试集中数据不同分布（none-iid）的情况，模型的性能会非常差，以下图为例（源自DICE-2021）：如果用图中的数据去预测图片形状，因为在训练集中的数据存在一定特性（正方形：蓝色，体积大；三角形：绿色、体积小；圆：橘色、体积中等），那么模型可能“偷懒”，只学习颜色和体积特征属性，显然在测试集上的效果非常差。
2023-03-16 21:24:03
902
原创 NDCG(归一化折损累计增益)
NDCG可作为推荐系统中top-k推荐的评测指标，顾名思义top-k推荐就是一次给用户推荐k个物品(长度为k的列表[1,2,3, ……这个很好理解，就是推荐给用户的列表中用户喜欢的物品的总数量，这只有数量上的意义，但其实序列中各物品排列的顺序顺序的不同，对用户的偏好也是存在影响的，所以就有了接下来的指标。)：不同长度的序列的比较方式（从这个角度上看，NDCG不适合top-k推荐），DCG与IDCG的比值。，推荐系统中表示推荐给用户的列表中的第i个物品，用户是否喜欢（喜欢为1，不喜欢为0）。
2023-03-11 21:18:23
1304
原创 MGAT: Multimodal Graph Attention Network for Recommendation
背景：本论文是对MMGCN（Wei et al., 2019）的改进。MMGCN简单地在并行交互图上使用GNN，平等地对待从所有邻居传播的信息，无法自适应地捕获用户偏好
2023-03-07 14:26:36
1312
原创 Multi-modal Graph Contrastive Learning for Micro-video Recommendation
解决问题：同种重要性对待每种模态，可能使得得到的特征表示次优，例如过度强调学习到的表示中的特定模态。以MMGCN为例，下图为MMGCN模型总览。
2023-03-05 11:20:40
1129
3
原创 Feature interation—— Bridge、Fusion、Filte
物品不同模态的表示属于不同的语义空间，并且每个用户对模态也有不同的偏好。因此，多模态推荐系统（MRS）寻求融合和交互多模态特征来生成用户和物品的特征表示。特征交互可以实现各模态不同特征空间到公共空间的非线形转化，交互方法可大致分为：Bridge、Fusion、Filter三类（这三种方法从不同的角度实现交互，它们可以同时应用于同一个模型中）
2023-03-04 15:59:54
657
原创 特征工程——Tabular Data Features & multimodal features
机器学习时期，要花费大量的时间在特征设计上，好的输入数据可以让训练事半功倍。而有了深度学习后，神经网络可以自动实现特征提取，解放了手工。
2023-03-01 16:40:36
541
原创 Learning and Fusing Multiple User Interest Representations for Micro-Video and Movie Recommendations
众所周知，深度学习在自动生成表征方面非常有效，这消除了人工制作特征的需求。对于个性化推荐任务，通过深度学习来生成多媒体（尤其是图像和视频）的有效表示取得了巨大的成功。以前的工作通常采用简单的、单一的模态表示用户兴趣，例如用户嵌入，这无法完全表征用户兴趣的多样性和波动性。为了解决这个问题，在本文中，我们专注于利用深度网络来学习和融合多种用户兴趣表示。具体来说，我们考虑了用户兴趣的四个方面的有效表示：首先，我们使用潜在表示，即用户嵌入，来分析整体兴趣;其次，我们提出了。
2023-02-13 21:55:04
152
原创 对比学习可能造成的过平滑问题&CCL4Rec详解
读完本文你将知道传统对比学习存在的问题，并学会一种解决方式。为了更好得阅读本文，请确保已经对对比学习有了一些了解，如若不然，建议先看一下一文弄懂什么是对比学习。本文是自己的总结，如有问题欢迎批评指正。传统对比学习存在的问题：由于忽略了用户行为中的噪声并对所有增强样本一视同仁，现有的对比学习框架不足以学习推荐中有区分度的用户表示 。
2023-02-05 19:59:21
725
原创 一文弄懂什么是对比学习（Contrastive Learning）
有的paper将对比学习称为自监督学习（Self-supervised learning），有的将其称为无监督学习（Unsupervised Learning , UL）。自监督学习是无监督学习的一种形式。自监督学习(Self-supervised learning)可以避免对数据集进行大量的标签标注。把自己定义的伪标签当作训练的信号，然后把学习到的表示(representation)用作下游任务里。目的学习一个编码器，此编码器对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同。
2023-02-03 18:13:27
24689
6
原创 机器学习实战(第二版)读书笔记(5)——通俗易懂Transformer
一、前言：一、前言：2017年Google研究团队提出了“注意力就是你所需要 的一切”，首次创建名为Transformer架构。目前Transformer仍然很热，应用领域也很广，最近读书的时候再次看到了这个模型，所以想写一个总结，旨在全面，浅显得介绍此模型，方便日后回顾。如果有问题欢迎批评指正。阅读本文请先确保了解了一些编码器—解码器，attention机制相关知识。如若不然请先看。
2023-02-02 20:24:27
1134
原创 tf.keras.layers.Embedding() 详解
输入：二维张量：(batch_size, input_length)。输出：3D 张量：(batch_size, input_length, output_dim)。
2023-02-02 16:07:02
3026
原创 机器学习实战(第二版)读书笔记(5)——Embedding
如果计算King-Man+Woman(添加和减去这些单词的嵌入向量)，则结果非 常接近Queen单词的嵌入(见图1)。换句话说，词嵌入编码了性别的概念!同样，可以计算Madrid-Spain+France，其结果接近Paris(巴黎)，这似乎表明首都的概念也在嵌入中进行了编码。目的：同义词具有非常接近的嵌入（将嵌入向量当作嵌入空间中的坐标，则同义词在嵌入空间中对应的点挨得近，差别越大的词对应的点挨得越远）表征学习：对输入数据表征越好，神经网络就越容易做出准确的预测，因此训练使嵌入成为类别的有用表征。
2023-02-02 15:27:26
1902
原创 机器学习实战(第二版)读书笔记(4)——seq2seq模型&注意力机制（BahdanauAttention，LuongAttention）详解
注意力机制由一种称为对齐模型(或注意力层)的小型神经网络生成，该网络与整个模型一起训练，可以缓解RNN短期记忆的问题。BahdanauAttention和LuongAttention论文提出的attention机制都是基于机器翻译，当然也可以应用于其他领域，如推荐系统。
2023-01-31 19:44:29
683
原创 机器学习实战(第二版)读书笔记(3)——膨胀卷积，WaveNet
对于一个卷积层，如果希望增加输出单元的感受野近似其中第1种和第2种方法会引入参数，第三种会丢失信息。膨胀卷积是一种不增加参数数量，同时增加输出单元感受野的一种方法。空洞卷积通过给卷积核插入“空洞”来变相地增加其大小（跳过部分）．如果在卷积核的每两个元素之间插入𝐷 − 1 个空洞，卷积核的有效大小为𝐾′ = 𝐾 + (𝐾 − 1) × (𝐷 − 1)，其中𝐷 称为膨胀率（Dilation Rate）．当𝐷 = 1 时卷积核为普通的卷积核．。
2023-01-28 16:11:04
1311
原创 机器学习实战(第二版)读书笔记(2)—— 全面讲解LSTM&GRU
LSTM可在一定程度上解决RNN短期记忆的问题。GRU但愿是LSTM单元的简化版，并且只保留遗忘门(保留有用记忆)和输入门(学习新知识)
2023-01-27 15:18:45
569
转载 机器学习易混点——归一化和标准化
归一化和标准化经常被搞混，程度还比较严重，非常干扰大家的理解。为了方便后续的讨论，必须先明确二者的定义。归一化就是将中某一列特征（假设是第i列）的值缩放到0和1之间。方法如下所示：正在上传…重新上传取消标准化就是将训练集中某一列特征（假设是第i列）的值缩放成均值为0，方差为1的状态。如下所示：正在上传…重新上传取消进一步明确二者含义归一化和标准化的相同点都是对进行缩放（scaling）而不是对某个样本的特征向量（row）进行缩放。
2023-01-27 14:24:26
990
原创 深度学习基础之 vec2seq(向量到序列)、seq2vec(序列到向量)、seq2seq(序列到序列)
Seq2Seq”模型将一个序列作为输入，例如一个英文句子，并输出另一个序列，例如该句子的法语翻译。“Seq2Vec”模型将序列数据作为输入，例如产品评论或社交媒体帖子，并输出单个值，例如情绪分数。“Vec2Seq”模型采用单个输入（例如图像）并生成数据序列（例如描述）。以最能代表输入数据特征的方式调整其参数。，并将其映射到输出。
2023-01-26 14:06:14
900
原创 机器学习实战(第二版)读书笔记(1)——循环神经网络（RNN）
循环神经网络和前馈神经网络非常类似，只是在其基础上添加了反向链接，下图为一个最简单的循环神经网络，它由一个神经元接受输入，产生输出并将该输出返送给自身。RNN通常用来处理序列数据，训练样本的格式为 X = x(1)x(2)x(3)…x(t-1)x(t)，在每个时间步t，该循环神经元接收x(t)和前一个时间步长的输出y(t-1)的输出，产生当前输出y(t)(不准确，后文会解释)。如下图所示，注意：所有的这些操作都是在同一个神经元上完成的（共享w和bRNN的记忆能力从何而来。
2023-01-07 20:31:24
1438
1
原创 《Concept-Aware Denoising Graph Neural Network for Micro-Video Recommendation 》解读
《Concept-Aware Denoising Graph Neural Network for Micro-Video Recommendation 》解读
2022-10-16 16:55:45
345
2
原创 CNN：full卷积，same卷积，valid卷积
原图经过full卷积图像会变大，经过same卷积尺寸不变，valid卷积尺寸会缩小。应用场景不通，具体看下文：
2022-10-16 10:29:11
2495
原创 FNN——用矩阵分解完成Embedding层初始化
FNN——用FM的隐向量完成Embedding层初始化(用FM模型对Embedding层进行改进)Embedding层存在的问题：1.参数巨大。输入层和Embedding神经元是全联接的，即每条相连的边上都存在一个参数w，若输入时采用one-hot编码，可想w数量及其庞大。2.收敛速度慢。随机梯度下降的过程中，只有与非零特征相连的Embedding 层权重会被更新。初次启动模型时，需对w进行初始化，相对于随机，FNN算法采用训练好的FM模型对Embedding层与输入层之间的权重进行初始化（
2022-05-22 16:21:37
408
原创 链表交换排序
# include<stdio.h># include<stdlib.h>struct ListNode { int data; struct ListNode *next;};void printlist( struct ListNode *L ){ struct ListNode *p = L; while (p) { printf("%d ", p->data); p = p-.
2022-03-20 12:26:59
755
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人