- 博客(27)
- 收藏
- 关注
RSS订阅原创 知识表示学习 (二) —— Gaussian space
知识表示学习 (二) —— Gaussian space文章目录知识表示学习 (二) —— Gaussian space一、KG2E(2015)二、TransG(2016)Chinese Restaurant Process(CRP)三、实验3.1 KG2E3.2 TransG 基于翻译的模型处理TransE及其变体的基于Point-Wise Space的模型，还有基于Gaussian space的模型，代表有KG2E、TransG等。一、KG2E(2015)论文链接：Learning to Re
2020-12-15 10:45:44
798
原创 知识表示学习 (一) —— Point-Wise Space之2
知识表示学习 (一) —— Point-Wise Space之2文章目录知识表示学习 (一) —— Point-Wise Space之2一、数据处理二、整体流程三、模型构建3.1 TransE3.2 TransH3.3 TransM3.4 TransR3.5 TransD3.6 TransA四、实验结果 上一篇博客知识表示学习 (一) —— Point-Wise Space之1中以TransE以及其变体和衍生为主的点向量平移模型，这篇博客中对其中的一部分模型进行简单的实现。 由于在进行评估时，需要
2020-12-13 10:44:32
877
原创 知识表示学习 (一) —— Point-Wise Space之1
知识表示学习 (一) —— Point-Wise Space之1文章目录知识表示学习 (一) —— Point-Wise Space之1零、表示学习一、TransE(2013)二、TransH(2014)三、TransM(2014)四、TransR(2015)五、TransD(2015)六、TransA(2015)七、TranSparse(2016)零、表示学习 知识表示学习(knowledge graph representation learning, KRL)也称之为图嵌入(knowledge
2020-10-24 19:48:05
2168
1
原创 知识建模和本体工程学习笔记
知识建模与本体工程文章目录知识建模与本体工程一、本体工程1.1 Ontology & Schema1.2 手工构建本体1.3 复用已有本体1.4 本体学习与自动化获取1.6 本体映射1.7 发布关系数据库1.8 语义网应用体系结构二、知识建模实践一、本体工程 本体(Ontology)：本体是我们告诉计算机人类如何认识和理解世界万物的一种形式化描述方式。本体成为语义网的知识描述载体。语义网的研究热潮极大促进了本体的研究。 本体工程(Ontology engineering)：知识图谱中需要
2020-10-14 20:28:05
2101
1
原创 两篇知识表示方面的论文阅读笔记
两篇知识表示方面的论文文章目录两篇知识表示方面的论文一、RDF相关1.1 模型设计1) 评估结果构造2) 可验证性3) 完整性、相关性、唯一性4) 结点的数据质量1.2 DCQA系统设计OWL相关2.1 问题的提出2.2 从LOD中构造闭包1) 提取相关知识2) 显式身份网络3) 构建身份网络4) 身份集的压缩/闭包2.3 计算误差度1) Community检测2) 误差度计算2.4 评估2.5 对原LOD进行调整一、RDF相关原文链接：An RDF Data Set Quality Assessme
2020-10-05 10:09:38
658
原创 集成学习模型（二）——GBDT
GBDT文章目录GBDT一、概述二、回归树三、提升树四、GBDT的原理4.2 GBDT损失函数4.3 GBDT正则化五、GBDT构建与测试六、总结一、概述 梯度提升（Gradient boosting）是一种用于回归、分类和排序任务的机器学习技术1，属于Boosting算法族的一部分。Boosting是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。Boosting方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，
2020-10-02 20:14:25
868
原创 本体语言 OWL
万维网本体语言OWL2一、引言通俗的讲，RDF被限定为二元闭谓词，而RDF模式被限定为子类层次和属性层次。而RDF的这些特征还不够精确，需要更具表达力的知识表述更多的特征，因此产生了OWL2，适合表达术语知识。二、本体语言的需求一个领域中概念的显示的形式化规约成为本体(ontology)，表达本体的语言称为本体语言(ontology language)。本体语言主要包括一下几个方面：良定语法：(well-defined syntax)，使用它以一种无二义的方式写出某种语言允许你表达的所有事物。
2020-10-01 18:45:15
2940
原创 查询语义网SPARQL
查询语义网：SPARQL文章目录查询语义网：SPARQL一、概述二、基础设施三、匹配模式四、过滤器五、其它六、利用SPARQL查询七、总结一、概述SPARQL是RDF的查询语言，适合并依赖于万维网上的各种技术。SPARQL能够让我们通过选择、抽取等方式从被表示为RDF的知识中获取特定的部分。二、基础设施三元组存储库(triple store)，可以看做是RDF的数据库，也被称作图存储库。每个三元组存储库都提供一个端点(endpoint)，客户端使用HTTP协议向端点发送查询。三、匹配模式在SP
2020-09-27 09:55:38
476
原创 知识表示：RDF
知识表示：RDF文章目录知识表示：RDF一、概述二、知识表示方法2.1 一阶谓词逻辑2.2 框架表示法2.3 语义网三、RDF数据模型四、RDF语法五、RDFS：添加语义六、RDF模式：语言七、将JSON文件转化为RDF八、总结一、概述 HTML是可编辑的网页的标准语言，它用于传递有关面向人类的文档的结构的信息，包括语法、数据模型和语义三个部分。而对于语义网，需要其数据模型能够被各种应用所使用，而且要领域无关。 RDF(资源描述框架)恰好提供了这样一个灵活并且领域无关的数据模型。其基础构件是一个
2020-09-26 10:28:47
2530
原创 知识图谱和语义网概述
知识图谱和语义网概述文章目录知识图谱和语义网概述一、知识图谱1.1 知识图谱的发展1.2 知识图谱与深度学习区别1.3、知识图谱相关应用1.4 经典的知识图谱1.5 知识图谱的表示二、语义网2.1 语义网的设计方案2.2 语义网相关技术2.3 语义网执行过程2.4 语义网的结构人工智能的发展：计算智能：规则明确的数据快速处理智能感知智能：视觉、听觉等感知的智能，人脸识别、语音识别等，现在常见的AI认知智能：理解语言、逻辑、知识的智能，机器在知识量上超越人类，推理上不如人类一、知识图谱1.1
2020-09-25 20:43:47
3729
原创 集成学习模型（一）——随机森林
随机森林文章目录随机森林一、概述二、决策树2.1 ID3，C4.5决策树的生成2.2 CART决策树的生成3.3 决策树的剪枝三、随机森林原理3.1 随机森林的构造3.2 袋外错误率（oob error）3.3 对特征重要性的评判3.3.1 permute variable3.3.2 Gini gain3.4 特征间的交互性3.5 样本间的近似性四、基于随机森林的实验4.1 随机森林构造与分类4.2 利用网格搜索调参五、总结一、概述 随机森林是由很多决策树构成的，不同决策树之间没有关联。 当我们
2020-09-20 19:58:22
2087
原创 集成学习概述笔记
集成学习——概述文章目录集成学习——概述一、概述二、发展历史三、集成学习分类3.1 Bootstrap aggregating3.2 Boosting3.3 Stacking四、结合策略4.1 平均法4.2 投票法4.3 学习法一、概述 监督学习算法通常被描述为执行搜索假设空间的任务以找到合适的假设，该假设将对特定问题做出良好预测。即使假设空间包含非常适合特定问题的假设，也可能很难找到一个很好的假设。集成学习结合多个假设，形成一个（希望）更好的假设。 集成学习本身是一种监督学习算法，因为它可以被
2020-09-16 20:27:42
1106
1
原创 神经网络中的Attention机制
Attention机制文章目录Attention机制一、概述二、发展历史三、Seq2Seq模型四、Attention模型五、对齐函数六、自注意力Self-Attention6.1 Transformer中的Self-Attention6.2 Multi-Head Attention七、其它的注意力机制7.1 Hard Attention7.2 Global Attention和Local Attention7.3 Hierarchical Attention7.4 Memory-based Attenti
2020-09-10 10:03:44
5188
原创 文本分类模型(二)——DPCNN
文本分类模型(二)——DPCNN文章目录文本分类模型(二)——DPCNN一、概述二、背景三、DPCNN特点四、DPCNN原理4.1 模型结构4.2 结构细节五、DPCNN模型的使用5.1 文本二分类5.2 文本多分类与可视化六、总结一、概述 DPCNN（Deep Pyramid Convolutional Neural Networksfor Text Categorization），是RieJohnson和腾讯AI-Lab等提出的一种深度卷积神经网络，可以称之为"深度金字塔卷积神经网络"。相关论文
2020-09-02 12:30:41
3344
原创 文本分类模型(一)——RCNN
文本分类模型(一) RCNN文章目录文本分类模型(一) RCNN一、概述二、背景三、RCNN原理3.1 模型结构3.2 前向传播1）Word Representation Learning2）Text Representation Learning3.3 反向传播四、RCNN处理文本分类4.1 在RNN模型的基础上修改实现RCNN的文本二分类4.2 RCNN文本多分类并利用TensorBoard可视化4.3 模型过拟合的处理五、总结一、概述 TextRCNN是2015年中科院发表的一篇文本分类的论文
2020-08-30 16:10:04
2137
原创 神经网络中的梯度不稳
神经网络中的梯度不稳文章目录神经网络中的梯度不稳一、概述二、RNN中梯度不稳的原因三、LSTM解决梯度消失四、其它解决梯度不稳的方法4.1 预训练加微调4.2 梯度裁剪与正则化4.3 激活函数的角度4.4 权重初始化角度4.5 网络结构的角度4.6 损失函数的角度五、总结一、概述 深度网络容易出现梯度不稳（梯度消失、梯度爆炸）问题，造成网络学习停滞。梯度消失： 在深层网络中，如果激活函数的导数小于1，根据链式求导法则，靠近输入层的参数的梯度因为乘了很多的小于1的数而越来越小，最终就会趋近于0。
2020-08-27 12:45:28
874
原创 神经网络学习笔记(四)——门控递归单元GRU
门控递归单元 GRU文章目录门控递归单元 GRU一、概述二、GRU与LSTM的关系三、GRU原理3.1 模型结构3.2 前向传播3.3 反向传播四、GRU模型的应用4.1 在原LSTM的基础上修改实现文本二分类4.2 文本多分类并利用TensorBoard可视化五、总结一、概述 门控递归单元（GRU）是递归神经网络的门控机制，由Kyunghyun Cho等人于2014年引入。它是传统RNN的变体，同LSTM一样能够有效捕捉长序列之间的语义关联，缓解梯度消失或爆炸现象。GRU就像带有遗忘门的长短期记忆
2020-08-25 10:03:28
4896
原创 神经网络学习笔记(三)——长短期记忆网络LSTM
长短期记忆网络 LSTM文章目录长短期记忆网络 LSTM一、概述二、背景三、LSTM原理3.1 模型结构3.2 前向传播3.3 反向传播3.4 LSTM的变体3.4.1 Peephole Connection3.4.2 Coupled四、LSTM的简单使用五、总结一、概述 长短期记忆网络——通常被称为LSTM，是一种特殊的RNN，能够学习长期依赖性。由Hochreiter和Schmidhuber（1997）提出，并且在接下来的工作中被许多人改进和推广。LSTM 在各种各样的问题上表现非常出色，现在被
2020-08-21 10:32:02
6148
原创 神经网络学习笔记(二)——循环神经网络RNN
循环神经网络 RNN文章目录循环神经网络 RNN一、概述二、背景三、RNN原理3.1 模型结构3.2 前向传播3.3 反向传播BPTT(back-propagation through time)3.4 RNN的分类3.5 RNN的改进双向RNN深度RNN四、RNN的简单使用五、总结一、概述 循环神经网络（Recurrent neural network，RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络。
2020-08-18 11:21:37
546
原创 神经网络学习笔记(一)——卷积神经网络CNN
卷积神经网络 CNN文章目录卷积神经网络 CNN一、概述二、卷积的概念三、CNN原理3.1 卷积层3.2 池化层3.3 完全连接层3.4 权值矩阵BP算法3.5 层的尺寸设置四、CNN简单使用五、总结一、概述 卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（poo
2020-08-15 09:42:50
734
原创 预训练BERT学习笔记
预训练BERT学习笔记文章目录预训练BERT学习笔记一、概述二、Transformer框架2.1 总体结构2.2 输入编码2.3 Self-Attention2.3 Multi-Head Attention2.4 Encoder-Decoder Attention2.5 损失层2.6 位置编码三、BERT介绍3.1 Embedding层3.2 Encoder层3.2.1 Masked Language Model3.2.2 Next Sentence Prediction3.3 prediction层四、
2020-08-12 16:29:34
1899
原创 词向量学习笔记（三）FastText
词向量学习笔记（三）FastText文章目录词向量学习笔记（三）FastText一、概述二、FastText模型原理2.1 FastText架构2.1 Softmax回归和层次Softmax2.2 n-gram特征三、源代码分析3.1 总体结构3.2 训练格式3.3 具体模块实现四、FastText的Python应用4.1 模型的训练4.2 模型的应用4.2.0 查看一个词的词向量4.2.1 计算和一个词语最相关的词4.2.2 计算两个词的相似度4.2.3 查找不同类的词4.2.4 查看对应关系4.2.5
2020-08-09 09:43:18
1182
原创 词向量学习笔记（二）Glove
词向量学习笔记（二）Glove文章目录词向量学习笔记（二）Glove一、概述二、Glove原理三、Python中的Glove使用3.1 总体思想3.2 数据集准备3.3 词向量训练3.4 相关应用3.4.1 求相似词3.4.2 查看两个词的相似度3.4.3 词条的词向量四、Glove与Word2Vec的区别一、概述 GloVe的全称叫Global Vectors for Word Representation，是一个基于全局词频统计（count-based & overall statist
2020-08-02 01:27:37
1185
原创 词向量学习笔记（一）Word2vec
词向量学习笔记（一）Word2vec文章目录词向量学习笔记（一）Word2vec一、概述二、词向量2.1词的独热表示one-hot2.2 词的分布式表示三、原理——Skip-gram和CBOW模型3.1 Skip-gram和CBOW的简单情形3.1.1 模型结构3.1.2 前向传播3.1.2.1 输入层到隐藏层3.1.2.2 隐藏层到输出层3.1.2.3 使用softmax转换为概率分布3.1.3 反向传播3.1.3.1 最大似然估计与损失函数3.1.3.2 隐藏层到输出层的权重矩阵W'的更新3.1.3.
2020-08-01 15:44:24
599
原创 NLTK学习笔记（二）
NLTK学习笔记（二）文章目录NLTK学习笔记（二）一、N-gram标注器训练二、朴素贝叶斯分类器2.1 利用贝叶斯实现性别判断2.2 利用贝叶斯分析文章情感2.3 总结一、N-gram标注器训练 1-gram：在基于一元处理一个语言处理任务时，我们使用上下文中的一个项目。标注的时候，我们只考虑当前的词符，与更大的上下文隔离。给定一个模型，我们能做的最好的是为每个词标注其先验的最可能的标记。这意味着我们将使用相同的标记标注一个词，如 wind，不论它出现的上下文是the wind还是to wind。
2020-07-27 19:20:27
448
原创 NLTK学习笔记(一)
NLTK学习笔记(一)文章目录NLTK学习笔记(一)一、概述二、NLTK语料库2.1 语料库处理API三、分词和分句四、词频统计五、单词分布六、词性标注七、去除停用词八、NLTK中的wordnet九、文本预处理9.1 词干提取9.2 词形还原 NLTK，全称Natural Language Toolkit，自然语言处理工具包，是NLP研究领域常用的一个Python库，由宾夕法尼亚大学的Steven Bird和Edward Loper在Python的基础上开发的一个模块，至今已有超过十万行的代码。这是一
2020-07-26 17:28:04
1867
原创 Jieba学习笔记
Jieba学习笔记文章目录Jieba学习笔记一、中文分词二、Jieba的特点三、Jieba的算法四、Jieba的功能4.1 分词4.2 添加自定义词典4.3 关键词提取import jieba.analyse4.3.1 基于TF-IDF算法的关键词抽取4.3.2 基于TextRank算法的关键词抽取4.3.3 代码测试4.4 词性标注4.5 并行分词4.6 Tokenize：返回词语在原文的起始位置一、中文分词 中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分
2020-07-24 12:23:16
911
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人