深度学习
文章平均质量分 80
人马座α星
这个作者很懒,什么都没留下…
展开
-
知识表示(KRL)与知识嵌入(KE)
知识表示(KRL)与知识嵌入(KE)以下整理内容来自于清华大学自然语言处理与社会人文计算实验室(THUNLP),1简介知识表示学习是面向知识库中实体和关系的表示学习。通过将实体或关系投影到低维向量空间,我们能够实现对实体和关系的语义信息表示,可以高效的计算实体、关系及其之间的复杂语义关联。知识表示学习得到的向量表示可以应用于相似度计算,知识图谱补全以及关系抽取、自动问答等其他应用中。2 TransE刘知远教授在2016年发表的《知识表示学习研究进展》中,综述了距离模型、单层神经网络模型、能量模原创 2021-04-15 17:40:36 · 1822 阅读 · 0 评论 -
多实例学习PCNN在关系抽取中的应用
参考文献:Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks摘要在远程监督关系提取中,提出两个问题。第一,首先,在这种方法中,启发式地将一个已经存在的知识库与文本对齐,并将对齐结果作为标记数据处理。但由于错误标签的存在,启发式的标记是错误的。第二,传统模型进行特征提取过程中产生的噪声会导致性能下降。针对以上两个问题,本论文提出了PCNN(多实例学习的分段卷积神经网络)。原创 2020-10-04 15:23:41 · 1714 阅读 · 0 评论 -
梳理方差、协方差、协方差矩阵过程
一、方差S=σ2=∑n=1N(xn−xˉ)2NS =\sigma^{2}= \frac{\sum_{n=1}^{N}(x_{n}-\bar{x})^{2}}{N}S=σ2=N∑n=1N(xn−xˉ)2表示的是xxx的离散程度,离散程度约大,方差也越大。标准差σ=∑n=1N(xn−xˉ)2N\sigma=\sqrt{\frac{\sum_{n=1}^{N}(x_{n}-\bar{x})...原创 2019-11-09 11:43:07 · 642 阅读 · 0 评论 -
Attention Is All You Need
Attention Is All You Need阅读笔记本文阅读初衷是了解到paddlehub的enire是借鉴了这篇文章的算法。因此决定来看一下这篇经典论文。摘要CNN和RNN是现在主流的序列预测模型。这类序列预测模型包含一个编码器和一个解码器。性能最优的模型是通过一个注意力机制连接编码器和解码器的模型。我们在这里提出一个新的模型架构,the Transformer。它依赖于注意力机制,.........原创 2019-11-02 16:39:56 · 478 阅读 · 0 评论 -
paddlehub自定义数据集
参考地址在paddlehub中的例子需要构建数据集。demo中的代码如下dataset = hub.dataset.ChnSentiCorp()当替换为自定义数据集时,首先需要将自己的数据集转换为如下形式。train.tsvdev.tsvtest.tsv然后,定义自己的数据集函数进行转换dataset = DemoDataset(dataset_dir=model_path)...原创 2019-10-21 15:39:18 · 1946 阅读 · 4 评论 -
Distribute Strategy--翻译学习
Overviewtf.distribute.Strategy,是一个用于多GPU、多服务器或多TPU进行分布式模型训练的API接口。用户通过改动较少的代码就可以使用该接口进行分布式训练。该API除了可进行分布式训练外也可实现在不同的平台进行分布式评估和预测。但本文档主要是讨论分布式的训练。官方文档中给出如下代码。# Import TensorFlow# __future__包在python...翻译 2019-06-04 10:16:49 · 2530 阅读 · 0 评论 -
无网离线tensorflow-gpu安装及遇到的各种坑,解决方案
在内网环境下,tensorflow的安装真的是一件头大的事。无限第三方依赖包。在按完Anconda3后,还需要按的 依赖包总结一下。注意安装顺序(我按的是tensorflow-gpu1.13.1)keras-applications>=1.0.6keras-preprocessing>=1.0.5grpcio>=1.8.6termcolor>=1.1.0gast...原创 2019-06-07 11:13:05 · 3848 阅读 · 0 评论 -
基于tensorflow的DCGAN
DCGAN,Deep Convolutional Generative Adversarial Network 。什么是生成对抗网络GANs?生成对抗网络,实质上就是两个模型在一个对抗的过程中同时训练的过程。一个是生产者,也可以认为是艺术家,在欣赏完真实的图片之后,自己去创造图片。另一个是鉴别者,也可以认为是鉴赏家,鉴别出哪些是真实图片哪些是生产者学习创造的图片。在这个训练的过程中,生产者...翻译 2019-03-15 18:07:24 · 955 阅读 · 0 评论 -
手动离线无网安装tensorflow, tensorflow安装包总结
所需依赖包jzzd7125Werkzeug >=0.11Wheel 0.32tensorboard 1.12protobuf 3.6.1absl-py 0.2.1astor 0.6.2bleach 1.5.0gast 0.2.0grpcio 1.12.0html5lib 0.9999999...原创 2018-10-30 17:48:27 · 6029 阅读 · 3 评论