自然语言处理与知识图谱week2 | 基本文字处理&最短编辑距离

最新推荐文章于 2020-07-23 16:25:54 发布
最新推荐文章于 2020-07-23 16:25:54 发布
阅读量212 收藏 1
点赞数
分类专栏： NLP与知识图谱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cat_xing/article/details/88253110
版权
本文介绍了自然语言处理中的基本文字处理，包括词标记、词语规范化和词干提取。深入讨论了最短编辑距离的概念，通过决策树进行句子划分，并探讨了如何计算和加权最短编辑距离。同时，提供了使用Python实现编辑距离算法的实践练习。
摘要由CSDN通过智能技术生成

字标记

在这里插入图片描述
Lemma（词元）: same stem（相同词干）, part of speech, rough word sense
Wordform（词形）: the full inflected surface form（完全改变的表示）
Type: an element of the vocabulary
Token: an instance of that type in running text

词语规范化和词干提取

规范化（Normalization）
大写转换（Case folding）
词形还原（Lemmatization）
形态学（Morphology）
词干提取（Stemming）

句子划分与决策树

句子划分（Sentence Segmentation）
确定单词是否为句子结尾：决策树（Decision Tree）

最短编辑距离定义

在这里插入图片描述

计算最短编辑距离

最低0.47元/天 解锁文章
卫龙女孩
关注
专栏目录
自然语言处理之知识图谱
zourzh123的专栏
07-12 4万+
1. 引言    最早接触知识图谱是在一篇分析人工智能的文章，文章提出一个很有意思的观点：“在感知层面，人工智能进步很大，在更高级的认知层面，我们现在了解的仍然很少。”　我对这句话的粗浅理解是，人工智能在学习数据的内在表示（无监督学习），或者对数据的输出结果判别方面表现出了强大的能力，甚至在计算机视觉、语音识别、机器翻译等方面接近或超过人类的表现水平，但这些都还停留在对数据内容的归纳和感知层面，对...
实体对齐基础：基于Neo4j 图数据库的知识图谱的关联对齐-最小编辑距离-jacard算法
Learning from the mistakes
11-26 2905
最近在做知识图谱的时候，需要用到实体对齐的方法，后面发现了用最小编辑距离和jacard可以做一个实体对齐的算法，原代码见参考文献，但是源代码写得有点粗糙，我这里重新整理了一下，最小编辑距离代码： def edit_distance(word1, word2): len1 = len(word1) len2 = len(word2) dp = np.zeros((len1...
Standford NLP Course(1) - Introduction & Basic Text Process
(>_<)
08-21 544
刚写了一篇点完发表居然没了，真是欲哭无泪了，只能重新写一遍，但愿不会又没了。 这里是一些斯坦福自然语言处理课程的笔记，主要还是用英文记，搞不清楚的概念或者个人的理解用中文标，毕竟翻译一遍挺没意思的。 课程地址https://class.coursera.org/nlp/lecture。Course IntroductionPurpose of NLP Question Answering Inf
中文文本纠错算法走到多远了？
热门推荐
素质云笔记
02-01 2万+
纠错是从互联网起始时就在一直解决的问题，但是一直作为一些重要技术的辅助、附属功能而默默无闻，譬如搜索引擎、譬如火热的智能写作等。 中文文本纠错任务，常见错误类型包括： 谐音字词，如 配副眼睛-配副眼镜 混淆音字词，如 流浪织女-牛郎织女 字词顺序颠倒，如 伍迪艾伦-艾伦伍迪 字词补全，如 爱有天意-假如爱有天意 形似字错误，如 高梁-高粱 中文拼音全拼，如 xingfu-幸福 中文拼音缩写，...
自然语言处理——信息抽取——远程监督关系抽取
Wangpeiyi9979的博客
02-22 2826
前言: 从小到大一直没有做笔记的习惯, 不过成绩一直还算好, 所以从不重视, 考试就是抱着一本书从头看到尾,感觉这样心里也踏实. 不过前段时间跟着学长开始进行科研, 读了好多关于关系抽取的文章，后来发现不做笔记确实力不从心了. 第二次又要画大量时间重读. 现在关系抽取告一段落, 特地对读过的文章整理总结，也算告别过去，踏上新的征程. 文章目录基本介绍问题定义问题运用分类^[http://sho...
NLP-编辑距离求解
Huoyo
09-25 562
文章目录一、简介二、原理三、求解分析四、递归求解五、动态规划求解 一、简介 编辑距离在NLP中是一种比较比较实用，且原理简单的一种算法，一般用与拼写纠错，相似度计算等，特别是在搜索领域，可以一定量的帮助用户进行拼写纠错。 二、原理 本文没有屌炸天的数学公式，读起来不需要那么费劲！ 假设你正在百度输入框中想搜索编辑距离，结果手残输成了遍地距离，坐在你身边的女朋友哈哈大笑说你不行，然后她飞快的输入，...
自然语言处理技术之知识图谱简介+进阶
01-17
《自然语言处理技术之知识图谱简介》可能会涵盖以下几个方面： 1. **知识图谱基础**：解释知识图谱的概念，介绍其结构和组成部分，以及在NLP中的作用。 2. **知识表示**：探讨如何使用RDF（Resource Description ...
Python-深度学习与自然语言处理知识图谱对话系统
08-10
深度学习与自然语言处理、知识图谱、对话系统。包括知识获取、知识库构建、知识库应用三大技术研究与应用。
AI Paper阅读记录与收藏：机器学习/深度学习/自然语言处理/计算机视觉/智能语音/推荐系统/知识图谱
最新发布
11-15
（二） 自然语言处理/计算机视觉/智能语音 2.1 自然语言处理 自然语言处理综述 文本向量化 中文分词 关键词提取 文本相似度计算 文本分类 情感分析 主题模型 阅读理解 推荐系统、知识图谱、数据优化、特征融合、...
自然语言处理NLP | 最短编辑距离
liuyh73的博客
05-09 888
给定两个字符串S和T，对于T，我们允许三种操作： 在任意位置添加任意字符 删除存在的任意字符 修改任一字符 问最少操作多少次可以把字符串T变为S？ 最少的操作次数，通常被称为编辑距离，即最短编辑距离。 关于最短编辑距离的题目，解法点击这里。 最短编辑距离原理可以用于拼写检查，对于简易的搜索引擎，我们可以使用最短编辑距离原理进行对用户输出的推断。 下面实现python版本的编辑距离算法： cla...
知识图谱与自然语言处理
CSAIWQYB
10-02 1万+
最近，在学习AI领域中，非常前沿的一项技术——知识图谱。知识图谱和自然语言处理有着紧密的联系，都属于比较顶级的AI技术。在AI金字塔中处于认知层面。目前，人工智能在学习数据的内在表示，或者根据算法训练得到的模型来进行结果的预测和判别方面表现出了强大的能力，尤其是在感知层面上，比如目前的计算机视觉领域，对于很多人肉眼无法判别的事物，而模型却能作出高精度的识别，并且也有了非常多的工业级的...
论文浅尝 | 利用知识图谱增强神经网络来解决自然语言处理的任务
开放知识图谱
04-27 2405
Citation: K. M. Annervaz, Somnath Basu Roy Chowdhury, and AmbedkarDukkipati. Learning...
NLP(04)_英文文本处理与spaCy
weixin_40056628的博客
04-19 1452
英文文本处理与spaCy spaCy是Python和Cython中的高级自然语言处理库，它建立在最新的研究基础之上，从一开始就设计用于实际产品。spaCy 带有预先训练的统计模型和单词向量，目前支持 20 多种语言的标记。它具有世界上速度最快的句法分析器，用于标签的卷积神经网络模型，解析和命名实体识别以及与深度学习整合。 0.英文Tokenization(标记化/分词) 文本是不能成段送入模型...
AI实训（二）：决策树与集成算法、贝叶斯算法
小谷围最靓的仔
07-23 569
1. 决策树 1.1 简单介绍 树模型： 决策树：从根节点开始一步步走到叶子节点（决策） 所有的数据最终都会落到叶子节点，既可以做分类也可以做回归 回归树：就是用树模型做回归问题，每一片叶子都输出一个预测值。预测值一般是该片叶子所含训练集元素输出的均值 树的组成 根节点：第一个选择点 非叶子节点与分支：中间过程 叶子节点：最终的决策结果 决策树的训练与测试 训练阶段：从给定的训练集构造出来一棵树 测试阶段：根据构造出来的树模型从上到下去走一遍就好了 一旦构造好了决策树，那么分类或者预测任务就很
NLP | 搜索引擎 python
⊳ideal world⊲~ヽ(ﾟ︺ﾟ)Hi
05-07 1358
完整代码：https://github.com/9ayhub/nlp-search-engine 题目 拼写检查 参考 http://norvig.com/spell-correct.html 和 https://github.com/beyondacm/Autochecker4Chinese 倒排索引 参考 https://blog.csdn.net/xn4545945/article/d...
自然语言处理与知识图谱week7 | 情感分析
⊳ideal world⊲~ヽ(ﾟ︺ﾟ)Hi
04-08 884
题目 问题 答案 代码 #!/usr/bin/python3 #-*-coding:GBK -*- from nltk.probability import FreqDist neg_str = ['just plain boring ', 'entirely predictable and lacks energy ', 'no surprises and very few...
自然语言处理与知识图谱week7 | 篇章分析（neuralcoref）
⊳ideal world⊲~ヽ(ﾟ︺ﾟ)Hi
04-11 691
import spacy nlp = spacy.load('en') import neuralcoref neuralcoref.add_to_pipe(nlp) def get_coref(s1): doc = nlp(s1) print(doc._.has_coref) if doc._.has_coref: print(doc._.coref_...
自然语言处理与知识图谱week7 | 使用nltk中的wordnet语料库
⊳ideal world⊲~ヽ(ﾟ︺ﾟ)Hi
04-11 470
print('========================') print('找出同义词集:') print('>>>dog:') print(wn.synsets('dog')) print('>>>apple:') print(wn.synsets('apple')) print('>>>fly:') print(wn.synsets(...
自然语言处理与知识图谱week1 | 从语言到信息——介绍NLP
⊳ideal world⊲~ヽ(ﾟ︺ﾟ)Hi
02-28 440
提交作业 http://211.159.187.254:8080 什么是自然语言处理 (NLP)？ NLP层级 NLP应用 NLP在工业上的应用越发广泛 深度学习在NLP中的应用 练习1：统计文本中的单词数 tr –sc ‘A-Za-z’ ‘\n’ &amp;amp;amp;amp;lt; nyt_200811.txt | sort | uniq –c 首先用&amp;amp;amp;amp;lt;符导入文件，然后使用tr缩减连续重复的字符成\n
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值