![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kg
文章平均质量分 81
dd
Coding With you.....
J2EE,python,数据分析,自然语言处理,人工智能
展开
-
神经网络与知识图谱学习总结
1.从零开始训练网络搭建网络基本架构1,初始化initialisation,设置输入层,中间层,和输出层的节点数。2,训练train:根据训练数据不断的更新权重值3,查询query,把新的数据输入给神经网络,网络计算后输出答案。(推理构建训练网络第一步是计算输入训练数据,给出网络的计算结果,这点跟我们前面实现的query()功能很像。第二步是将计算结果与正确结果相比对,获取误差,采用误差反向传播法更新网络里的每条链路权重。启动训练网络并测试数据读取真实数据,以及数据的预处原创 2023-03-01 09:58:33 · 854 阅读 · 0 评论 -
neo4j服务器版本安装相应的算法库并使用
安装1.在https://github.com/neo4j-contrib/neo4j-graph-algorithms/releases下载匹配版本的插件graph-algorithms-algo-[version].jar,下载后放到$NEO4J_HOME/plugins目录下。版本可以在https://github.com/neo4j-contrib/neo4j-graph-algorithms/blob/master/versions.json查看2.将dbms.security.pr.原创 2021-10-05 17:48:07 · 399 阅读 · 0 评论 -
表示学习总结
一 理解1.表示学习是什么--------------------可以说是自然语言处理中最底层的词汇处理,对词进行编码--可以有不同的编码方式(也就是一个数据可以有不同的表示方式)在我们的意识中,是怎么理解句子的呢,基于语法?语义?上下文?如何将这个句子叫机器理解呢?模型层面+学习层面:就是设计一个模型,去组合这些局部、全局的语义,然后进行模型的训练学习表示学习是自然语言处理中一个核心的任务,是语言的形式化表示,便于计算机识别与理解。主要是将以前人工提取数据中特征的过程转变为自己从数原创 2021-08-29 20:50:18 · 55 阅读 · 0 评论 -
实验数据标注-命名实体数据预处理
1.确定实体类别,boi:方法、领域、其他实体、非实体 ‘O’:0, ‘B-MET’:1, ‘I-MET’:2, ‘B-ARE’:3, ‘I-ARE’:4, ‘B-OTH’:5, ‘I-ORTH:62.遍历每一个句子,进行词性标注,根据词性标注添加实体标注,保存到csv文件中:词 标注3.选择模型进行训练...原创 2021-08-15 11:03:58 · 25 阅读 · 0 评论 -
惊!brat安装后进行标注-实战,并且通过一行代码自动标注为BIO格式,便于模型训练-and 错误解决
这周采用不同工具对原始摘要进行了标注,最后采用了brat进行标注,并且将标注结果转化成了BIO的标注方式,便于模型训练。接下来就将这些标注的数据进行模型的训练和测试,得到的模型结果不错的话就进行关系的提取。一 方向为什么选择brat标注工具。在刚开始进行标注时,是选择的stanford npl工具进行标注的,那个对英文的数据集标注效果是不错的,但进行尝试后发现,比如人工智能这个词,会将人工标注为形容词 智能标注为实体,而且在进行实体识别模型训练的时候,大多数模型需要对标签进行处理,采用的是BIO的标原创 2021-08-07 20:39:38 · 4270 阅读 · 29 评论 -
实体标注-知识图谱
1.采用pos标注后进行bio标注先使用jieba分词对原文本进行分词和pos词性标注,然后基于pos词性标注抽取出文本中的公司名、证券、基金名称(这部分也可以使用正则方法)等,保存到word_dict.txt中作为词典,然后基于该词典对原文本中进行的数据进行标注。word_dict.txt如下:INT与BON文本对应的标签。占位词 NONE,这一行必须要有,作为词典的停止关键词# -*- coding: utf-8 -*-'''基于外部词典对数据进行标注 BIO方式Author:原创 2021-08-09 11:30:22 · 58 阅读 · 0 评论 -
知识图谱构建的突破点和方向
知识图谱构建的困难:因为图谱的数据信息需要标注,费时费力,构建的成本非常的高。如果想构建得很准的话,人工成本非常高。如果用自动生成的方法,那样的错误率也会很高因此,就是缺少标注数据的问题解决思路:找一种方法,在低资源低数据的前提下构建准确率高的图谱从大数据的角度,做数据驱动,用深度学习举十反一的方法,把所有的数据进行建模,并且学习数据之间的关联关系,学习数据的记忆模型。要用知识驱动,构建一个知识图谱,用知识驱动整个事情。我们把两者结合起来,这也许是我们解决未来***认知 AI*** 的一原创 2021-08-10 11:02:26 · 237 阅读 · 0 评论 -
从头看关系提取-获取有用信息
1.论文 Relation Classification via Convolutional Deep Neural Network【有数据 代码】注:位置向量是指每一个单词和实体的相对位置进行编码论文创新点:(1)在没有复杂的NLP预处理情况下,其实就是特征提取部份,说明关系提取的可行性。卷积DNN算法来提取词汇级特征(lexcial level features)和句子级特征(sentence level features)。(2)提出了位置特征(PF,position features),来编原创 2021-08-14 16:29:46 · 21 阅读 · 0 评论 -
stanfordnpl安装以及对英文数据进行标注 命名实体识别
1.安装点击网址https://stanfordnlp.github.io/CoreNLP/下载如图压缩包然后下拉点击如图进行下载jar包最后将压缩包解压后,将下载的jar包放入解压的文件夹中2.在命令行安装:pip install stanfordcorenlp3.使用,结果如下图>>> from stanfordcorenlp import StanfordCoreNLP>>> nlp = StanfordCoreNLP(..原创 2021-08-05 17:06:05 · 456 阅读 · 0 评论 -
领域图谱之命名实体识别-Named Entity Recognition Using a Semi-supervised Model Based on BERT and Bootstrapping
1.这篇文章中提出了一种基于BERT和Bootstrapping半监督模型进行命名实体识别的方法。首先在命名实体识别,是NLP中一项基础性关键任务,也是关系抽取、事件抽取、知识图谱、机器翻译、问答系统等诸多NLP任务的基础。这方面主要有四种方法,基于规则的方法:基于规则的NER系统依赖于人工制定的规则。规则的设计一般基于句法、语法、词汇的模式以及特定领域的知识等。当字典大小有限时,基于规则的NER系统可以达到很好的效果。由于特定领域的规则以及不完全的字典,这种NER系统的特点是高精确..原创 2021-07-10 23:08:25 · 80 阅读 · 0 评论