- 博客(99)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 import matplotlib.pyplot as plt时程序异常终止
解决：一般是装的老版anaconda自带了老版本的matplotlib，会有一些兼容性问题，直接卸载重装最新版本就可以解决。问题：import matplotlib.pyplot as plt 时导致程序一直无反应。
2023-03-17 10:47:55
605
4
原创 空间中任意一点到球的截面的最短距离
在截面上的垂足即为空间中圆的圆心。假设圆上的任意三点的坐标分别为。方程1满足点在球面上，方程2满足点在截面上，方程3满足点到垂足。，则该点的坐标满足以下的方程组。该截面为一个空间中的圆，球心。，对应的圆上的点的坐标为。到空间圆上的最短距离为。三点均在截面上，则有。，该点到截面的距离为。
2023-02-11 11:43:45
846
原创 Diffusion-LM Improves Controllable Text Generation 扩散语言模型改善可控文本生成
论文链接：https://arxiv.org/abs/2205.14217代码链接：https://github.com/XiangLi1999/Diffusion-LM无需重训模型控制语言模型的表现是自然语言生成（NLG）的一个重要开放问题，近期工作已经在简单句子属性控制生成上取得了一定的进展，但是在复杂的、细粒度的控制上的进展还远远不够。作者指的更复杂，更细粒度的控制：为了解决这一挑战，我们提出了一个基于连续扩散模型的非自回归语言模型，我们称之为Diffusion-LM。Diffusion-LM是
2022-12-08 22:18:45
3076
1
转载 扩散模型（Diffusion Model）原理与代码解析（二）
我们已经明确了要训练pΘ(Xt−1∣Xt)p_{Θ}(X_{t-1}|X_t)pΘ(Xt−1∣Xt)，那要怎么确定目标函数呢？有两个很直接的想法，一个是负对数的最大似然概率，即−logpΘ(X0)-\log p_{Θ}(X_0)−logpΘ(X0)，另一个是真实分布与预测分布的交叉熵，即−Eq(X0)logpΘ(X0)-E_{q(X_0)}\log p_{Θ}(X_0)−Eq(X0)logpΘ(X0)，然而，类似于VAE，由于我们很难对噪声空间进行积分，因此直接优化−logpΘ(X0
2022-12-06 21:18:53
1817
原创 变分推断（Variational Inference）解析
假设在一个贝叶斯模型中，xxx为一组观测变量，zzz为一组隐变量（参数也看做随机变量，包含在zzz中），则推断问题为计算后验概率密度P=(z∣x)P=(z|x)P=(z∣x)。根据贝叶斯公式，有：p(z∣x)=p(x,z)p(x)=p(x,z)∫p(x,z)dzp(z|x)=\frac{p(x,z)}{p(x)}=\frac{p(x,z)}{\int p(x,z)dz}p(z∣x)=p(x)p(x,z)=∫p(x,z)dzp(x,z)但是在实际应用中，可能由于积分没有闭式解，或者是指数级的计算复杂度
2022-12-01 20:59:33
5105
3
原创 Linux服务器非root用户下安装CUDA11.1和cudnn到指定目录
（适用于服务器上管理员已安装好显卡驱动或已安装的CUDA版本无法满足自己要求）1、准备工作首先查看自己服务器系统的信息uname -a lsb_release -a这是我的服务器的信息然后根据版本去官网选择对应版本下载CUDA接着下载cudnn（网址）,选择CUDA11.1对应的版本 (需登录nvidia账号，无法用wget，我只能采取本地下载上传到服务器)。选择 “cuDNN Library for Linux”，下载下来是一个tgz的压缩包。最后，提前建好cuda的自定义目录，我
2021-11-09 13:35:53
9862
9
原创 显卡RTX 3090运行pytorch报错CUDA error: no kernel image is available for execution on the device
RuntimeError: CUDA error: no kernel image is available for execution on the device安装适用于GeForce RTX 3090显卡的pytorch卸载当前版本的pytorch, 重新按照以下安装pip uninstall torchpip install torch==1.7.0+cu110 torchvision==0.8.1+cu110 torchaudio===0.7.0 -f https://download.p
2021-11-06 19:39:09
2265
1
原创 解决pytorch训练的过程中内存一直增加的问题
代码中存在累加loss，但每步的loss没加item()。pytorch中，.item()方法 是得到一个元素张量里面的元素值具体就是 用于将一个零维张量转换成浮点数，比如计算loss，accuracy的值就比如：loss = (y_pred - y).pow(2).sum()print(loss.item())for epoch in range(100): index=np.arange(train_sample.shape[0]) np.random.shuffle(i
2021-09-18 16:56:32
8165
5
原创 Linux 添加新用户及创建主目录
Linux adduser命令Linux adduser命令用于新增使用者帐号或更新预设的使用者资料。adduser 与 useradd 指令为同一指令（经由符号连结 symbolic link）。使用权限：系统管理员。adduser是增加使用者。相对的，也有删除使用者的指令，userdel。语法:userdel [login ID]语法adduser [-c comment] [-d home_dir] [-e expire_date] [-f inactive_time] [-g initi
2021-09-16 22:01:05
39446
原创 GPT-GNN：图神经网络的生成式预训练 KDD 2020
论文链接：https://arxiv.org/pdf/2006.15437.pdf代码链接：https://github.com/acbull/GPT-GNN论文来源：KDD 2020参考文档：https://blog.csdn.net/c9yv2cf9i06k2a9e/article/details/1082313221、简介本文研究如何利用图生成作为自监督任务来预训练 GNN。我们将图的生成概率分解成两个模块：1）节点特征生成；2）图结构生成。通过对这两个模块建模，GPT-GNN 可以捕捉图.
2020-08-27 16:27:23
1028
1
原创 LightGCN：用于推荐任务的简化并增强的图卷积网络 SIGIR 2020
论文链接：https://arxiv.org/abs/2002.02126代码链接：https://github.com/gusye1234/LightGCN-PyTorch论文来源：SIGIR 2020摘要图卷积网络(GCN)已经成为协同过滤的最新技术。然而，对于推荐的有效性的原因却没有很好地解释。现有的将GCN用于推荐的工作缺乏对GCN的深入消融分析，GCN最初是为图分类任务而设计的，并配备了许多神经网络操作。然而，我们实证发现，两种最常见的设计-特征转换和非线性激活-对协同过滤的性能贡献很小.
2020-08-04 21:33:47
22270
8
原创 MOOCCube：基于MOOC相关研究的开源大规模数据仓库 ACL2020
论文链接：http://keg.cs.tsinghua.edu.cn/jietang/publications/ACL20-Yu-Luo-et-al-MOOCCube.pdf数据链接：http://moocdata.cn/data/MOOCCube导读MOOCCube是一个服务于MOOC相关研究的开源大规模数据仓库。和已有类似的教育资源数据库相比它的规模庞大，数据丰富且多样。其中的学生行为记录包括学习时长、学习次数、学习视频的区间等非常完善的学生行为。包含近20万名学生的、总计将近500万人次的视频.
2020-08-01 09:32:42
4552
1
原创 GCC：使用图对比编码的图神经网络预训练模型 KDD2020
论文链接：https://arxiv.org/abs/2006.09963论文来源：KDD 2020摘要图表示学习已经成为解决现实问题的一种强大的技术。节点分类、相似度搜索、图分类和链接预测等各种下游图学习任务都受益于它的最新发展。然而，现有的图表示学习技术侧重于特定领域的问题，并为每个图训练专用的模型，这些模型通常不能转移到域外数据。受最近自然语言处理和计算机视觉的预训练进展的启发，我们设计了图对比编码(GCC)——一个无监督图表示学习框架——来捕获跨多个网络的通用网络拓扑属性。我们将GCC的预训.
2020-07-30 17:43:10
1838
3
原创 ACKRec：注意力异构图卷积深度知识推荐器 SIGIR 2020
论文链接：http://keg.cs.tsinghua.edu.cn/jietang/publications/Sigir20-Gong-et-al-MOOC-concept-recommendation.pdf摘要大规模的在线公开课程（MOOC）正在成为一种流行的教育方式，为学生掌握知识提供了大规模的开放式学习机会。为了吸引学生的兴趣，MOOC提供商使用推荐系统向学生推荐课程。但是，由于一门课程通常包含许多视频讲座，每个讲座都涵盖一些特定的知识概念，因此直接推荐课程会忽略学生对某些特定知识概念的兴趣.
2020-07-28 11:25:55
1636
14
原创 KGPolicy：用于推荐的负采样模型（知识图谱策略网络）WWW 2020
论文链接：https://arxiv.org/pdf/2003.05753.pdf代码链接：https://github.com/xiangwang1223/kgpolicy摘要合理的处理缺失数据在推荐系统中是的一个根本挑战。 目前的大多数工作都是从未观察到的数据中进行负采样，以提供带有负信号的推荐模型训练 。 然而，现有的负采样策略，无论是静态的还是自适应的，都不足以产生高质量的负样本-这既有助于模型训练，也有助于反映用户真实的需求。在这项工作中，我们假设项目知识图(KG)，它提供了项目和KG实.
2020-07-27 21:32:19
2613
1
原创 KGSF：通过基于语义融合的知识图谱来改善会话推荐系统 KDD2020
论文链接：https://arxiv.org/pdf/2007.04032.pdf代码链接：https://github.com/RUCAIBox/KGSF1、摘要会话推荐系统（CRS）旨在通过交互式对话向用户推荐高质量的项目。尽管已为CRS做出了一些努力，但仍有两个主要问题有待解决。首先，对话数据本身缺少足够的上下文信息，无法准确地了解用户的偏好。第二，自然语言表达与项目级用户偏好之间存在语义鸿沟。为了解决这些问题，我们结合了面向单词和面向实体的知识图谱（KG）以增强CRS中的数据表示，并采用互.
2020-07-27 11:37:01
1895
1
原创 STAR-GCN：用于推荐系统的图卷积神经网络 IJCAI 2019
论文链接：https://www.ijcai.org/Proceedings/2019/0592.pdf代码链接：https://github.com/jennyzhang0215/STAR-GCN论文来源：IJCAI 2019摘要文章针对推荐系统提出了一种新的堆叠和重构图卷积网络(STAR-GCN)结构来学习节点的表征，提高推荐系统的效率，特别是在冷启动场景。STAR-GCN采用一堆GCN编码器/解码器与中间监督相结合，以提高最终预测性能。同图卷积矩阵分解模型用one-hot节点作为输入不同，S.
2020-07-26 20:30:04
3239
4
原创 RippleNet：知识图谱与推荐系统联合学习 CIKM 2018
论文链接：https://arxiv.org/pdf/1803.03467.pdf代码链接：https://github.com/qibinc/RippleNet-PyTorch参考文档：https://zhuanlan.zhihu.com/p/73716930
2020-07-24 11:00:25
1715
6
原创 pytorch学习笔记（7）：RNN和LSTM实现分类和回归
参考文档：https://mp.weixin.qq.com/s/0DArJ4L9jXTQr0dWT-350Q在第三篇文章中，我们介绍了 pytorch 中的一些常见网络层。但是这些网络层都是在 CNN 中比较常见的一些层，关于深度学习，我们肯定最了解的两个知识点就是 CNN 和 RNN。那么如何实现一个 RNN 呢？这篇文章我们用 RNN 实现一个分类器和一个回归器。本文需要你最好对 RNN 相关的知识有一个初步的认识，然后我会尽可能的让你明白在 pytorch 中是如何去实现这一点的。1、pytor
2020-07-22 19:09:58
13976
8
原创 pytorch学习笔记（6）：GPU和如何保存加载模型
参考文档：https://mp.weixin.qq.com/s/kmed_E4MaDwN-oIqDh8-tg上篇文章我们完成了一个 vgg 网络的实现，那么现在已经掌握了一些基础的网络结构的实现，距离一个入门炼丹师还有两个小问题需要注意一下：GPU 和保存模型。提起炼丹大家经常可以听到显卡如何如何的，也就是 GPU 在炼丹的过程中起到重要的作用。另一方面，训练了一个模型后，我们肯定要用它来进行一些预测，前面的代码中都是将训练好的模型直接进行预测，但是如果代码每次预测都要训练一次岂不是麻烦死了，所以将训练
2020-07-22 16:00:41
1874
原创 pytorch学习笔记（5）：vgg实现以及一些tricks
参考文档：https://mp.weixin.qq.com/s/BAvS5ETwuv09pjBrqm3zWQ通过前面的学习，现在我们可以利用已经会了的网络层来搭建自己想要的神经网络。今天的笔记从两方面去进行，首先是简单介绍 vgg，并利用前面学到的网络层来搭建出 vgg 的实现；另外一方面是参考 GitHub 上一个 vgg 实现的仓库，给大家介绍一个实现多层网络，多类网络时，如何进行简化代码的方法。1、利用自带网络层来实现vgg首先 vgg 网络来源于 ICLR 2015 的一篇 paper：htt
2020-07-22 13:50:50
704
原创 基于注意力机制的知识图谱关系预测 ACL 2019
论文链接：https://arxiv.org/pdf/1906.01195.pdf代码链接：https://github.com/deepakn97/relationPrediction论文来源：ACL 2019摘要背景：近年来知识图谱(KGs)的激增，再加上实体之间缺少关系（链接）形式的不完整或部分信息，引发了大量关于知识库补全(也称为关系预测)的研究。最近研究表明，基于CNN的模型能够生成更丰富、更有表现力的特征嵌入，在关系预测方面也有很好的表现。问题：然而，我们观察到这些KG嵌入独立地处理.
2020-07-21 20:09:29
6117
9
转载 TransD：通过动态映射矩阵嵌入（知识图谱嵌入）ACL 2015
论文链接：http://pdfs.semanticscholar.org/a4ad/33855655986d9edcea300db7849d4b8498a0.pdf代码链接：https://github.com/mrlyk423/relation_extraction论文来源：ACL 2015导读知识图谱作为人工智能应用的重要资源，表示学习对知识图谱的完善和应用至关重要。先前提出的TransE、TransH、TransR模型对表示学习提升不少，表示学习对关系抽取、三元组分类以及链接预测等方面具有作.
2020-07-21 14:05:21
3579
原创 pytorch学习笔记（4）：tensorboard可视化
参考文档：https://mp.weixin.qq.com/s/UYnBRU2b0InzM9H1xl4b4g在之前的第二篇笔记中，我们实现了一个 CNN 网络，在 mnist 上通过两个卷积层完成分类识别。但是在我们调试代码的过程中，其实往往会想要知道我们的网络训练过程中的效果变化，比如 loss 和 accuracy 的变化曲线。当然，我们可以像前面的文章一样，将训练过程中的数据数据打印出来，但是一个是不够直观，另外一个是没有图形的表现力强。所以本篇笔记介绍了 tensorboard 来完成可视化的操
2020-07-21 09:46:08
1149
原创 pytorch学习笔记（3）：常用网络层介绍
参考文档：https://mp.weixin.qq.com/s/Wxx-8b_36unlimLKBUl8zA前两篇文章了解了如何用 pytorch 创建一个 CNN 网络，实现对 MNIST 数据集的图片分类。其中用到了一些函数，我们从字面意思也可以理解其功能。但是如何灵活自由的构建自己想要的网络结构呢？今天我们介绍一些在 Deep Learning 中经常听到的一些网络层，以及在 pytorch 中它们的使用方法。1、常用的神经网络层这里我们介绍一下在构建网络时常见的一些神经网络层，分别从卷积层，池
2020-07-20 10:54:38
1393
原创 pytorch学习笔记（2）：在MNIST上实现一个CNN
参考文档：https://mp.weixin.qq.com/s/1TtPWYqVkj2Gaa-3QrEG1A这篇文章是在一个大家经常见到的数据集 MNIST 上实现一个简单的 CNN。我们会基于上一篇文章中的分类器，来讨论实现一个 CNN，需要在之前的内容上做出哪些升级。这篇笔记的内容包含三个部分：读取 pytorch 自带的数据集并分割；实现一个 CNN 的网络结构；完成训练。这三个部分合起来完成了一个简单的浅层卷积神经网络，在 MNIST 上进行训练和测试。1、读取自带数据集并分割train_d
2020-07-19 22:17:14
508
转载 TransR：实体和关系分开嵌入（知识图谱嵌入）2015 AAAI
论文链接：http://nlp.csai.tsinghua.edu.cn/~lyk/publications/aaai2015_transr.pdf代码链接：https://github.com/mrlyk423/relation_extraction参考文档：https://blog.csdn.net/qq_36426650/article/details/103357256论文来源：2015 AAAI导读TransH在TransE基础上做出的改进，提高了知识表示的效果，在一定程度上解决了复杂.
2020-07-19 18:52:59
5674
1
原创 TransH：将知识嵌入到超平面（知识图谱嵌入）2014 AAAI
论文链接：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.486.2800&rep=rep1&type=pdf论文来源：2014 AAAI导读表示学习是深度学习的基础，将数据用更有效的方式表达出来，才能让深度学习发挥出更强大的作用。表示学习避免了手动提取数据特征的繁琐，允许计算机学习特征的同时，也学习如何提取特征。尽管举例基于翻译（translation）的知识图谱表示学习已经过去了五六年的时间，但是仍不可忽略其重要意.
2020-07-19 14:31:40
834
原创 TransE：Translating Embedding多元关系数据嵌入（知识图谱嵌入）2013 NIPS
论文链接：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.447.6132&rep=rep1&type=pdf代码链接：https://github.com/Anery/transE导读表示学习旨在学习一系列低维稠密向量来表征语义信息，而知识表示学习是面向知识库中实体和关系的表示学习。当今大规模知识库（或称知识图谱）的构建为许多NLP任务提供了底层支持，但由于其规模庞大且不完备，如何高效存储和补全知识库成为了一项非常重.
2020-07-18 21:33:03
1676
1
原创 pytorch学习笔记（1）：开始一个简单的分类器
参考文档：https://mp.weixin.qq.com/s/wj8wxeaGblJijiHFZA6lXQ回想了一下自己关于 pytorch 的学习路线，一开始找的各种资料，写下来都能跑，但是却没有给自己体会到学习的过程。有的教程一上来就是写一个 cnn，虽然其实内容很简单，但是直接上手容易让人找不到重点，学的云里雾里。有的教程又浅尝辄止，师傅领到了门槛跟前，总感觉自己还没有进门，教程就结束了。所以我总结了一下自己当初学习的路线，准备继续深入巩固自己的 pytorch 基础；另一方面，也想从头整理一个
2020-07-17 17:02:14
479
原创 Transformer新内核Synthesizer：低复杂度的attention代替点乘式的注意力机制
论文链接：https://arxiv.org/pdf/2005.00743.pdf参考文档：https://mp.weixin.qq.com/s/e2Cor8amz7GiFfBGdLXULg导读今天阅读的是一篇来自Google的最新论文《SYNTHESIZER: Rethinking Self-Attention in Transformer Models》，该论文重新探索了Transformer中注意力机制的必要性，并引入了新的attention计算方法Synthesizer。实验显示，即使不进行.
2020-07-17 14:07:43
1164
原创 深入理解图注意力机制（Graph Attention Network）
参考来源：https://mp.weixin.qq.com/s/Ry8R6FmiAGSq5RBC7UqcAQ1、介绍图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。下图概述了 Graph Attention Network 主要做的事情。针
2020-07-16 16:39:07
3469
原创 GATNE：阿里电商场景下的大规模异构网络表示学习 KDD2019
论文链接：https://arxiv.org/pdf/1905.01669.pdf代码链接：https://github.com/THUDM/GATNE论文来源：KDD2019摘要网络嵌入（图嵌入）在真实世界中已经有了非常大规模的应用，然而现存的一些网络嵌入（图嵌入）相关的方法主要还是集中在同质网络的应用场景下，即节点和边的类型都是单一类型的情况下。但是真实世界网络中每个节点的类型都多种，每条边的类型也有多种，而且每一个节点都具有不同且繁多的属性。所以本论文提出了一种在Attributed Mul.
2020-07-15 16:05:32
1652
原创 XLNet：广义自回归预训练语言模型 2019 NIPS
论文链接：https://arxiv.org/pdf/1906.08237v1.pdf代码链接：https://github.com/zihangdai/xlnet导读今天学习的是谷歌大脑的同学和 CMU 的同学的论文《XLNet: Generalized Autoregressive Pretraining for Language Understanding》，于 2019 年发表于 NIPS，目前引用超 300 次。XLNet 是一个广义自回归预语言模型，它在 Transformer-XL .
2020-07-13 15:41:24
1159
原创 ALBERT：轻量级BERT语言模型 ICLR2020
论文链接：https://arxiv.org/pdf/1909.11942.pdf代码链接：https://github.com/google-research/ALBERT导读今天阅读的是 Google 同学 2020 年的ICLR论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》。我们知道模型效果会随着模型深度的增加得到提升，然而模型深度的增加也会使得训练变得更困难，为了解决这个问题，.
2020-07-12 15:46:09
3387
1
原创 Transformer-XL语言模型：超长上下文依赖
论文链接：https://arxiv.org/pdf/1901.02860.pdf代码链接：https://github.com/kimiyoung/transformer-xl参考来源：https://mp.weixin.qq.com/s/C1hXU3HMSXSY5Ru9r1CZAA导读今天学习的是谷歌大脑的同学和 CMU 的同学于 2019 年联合出品的论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Cont.
2020-07-11 21:11:04
1437
原创 GPT2.0语言模型 Language Models are Unsupervised Multitask Learners
论文链接：https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdfTensorflow代码链接：https://github.com/openai/gpt-2Pytorch代码链接：https://github.com/huggingface/pytorch-pretrained-BERT参考文档：https://mp.weixin.qq.com/s/c0LXAj5tN_59eJKc8yBTLQ参考.
2020-07-11 10:39:08
7353
原创 深度学习常用损失函数总览：基本形式、原理、特点
参考来源：https://mp.weixin.qq.com/s/AQQXO2XfDcE-PP1cD1j_Fw机器学习中的监督学习本质上是给定一系列训练样本 (xi,yi)(x_i,y_i)(xi,yi) ，尝试学习 x→yx\to yx→y 的映射关系，使得给定一个xxx ，即便这个 xxx不在训练样本中，也能够得到尽量接近真实 yyy 的输出y^\hat{y}y^ 。而损失函数（Loss Function）则是这个过程中关键的一个组成部分，用来衡量模型的输出 y^\hat{y}y^ 与真实的
2020-07-10 16:41:56
1657
原创 GPT语言模型：通过生成式预训练改善语言理解 OpenAI 2018
论文链接：https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf代码链接：https://github.com/openai/finetune-transformer-lm参考文档：https://mp.weixin.qq.com/s/VI5hvcZejJL9ftdDcgMZQA导读今天阅读的是 OpenAI 2018 年的论文《Improving Language Understanding by Gener.
2020-07-10 09:29:02
2516
2
原创 ELMo：基于语境的深度词表示模型 NAACL 2018 Best Paper
论文链接：https://arxiv.org/abs/1802.05365代码链接：https://github.com/allenai/allennlp论文来源：NAACL 2018导读参考来源：https://mp.weixin.qq.com/s/myYKfOvN9LvMmSRUJudmpA参考来源：https://zhuanlan.zhihu.com/p/37915351今天学习的是 AllenNLP 和华盛顿大学 2018 年的论文《Deep contextualized word r.
2020-07-08 14:56:13
655
HGAT模型代码及数据集
2020-03-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人