standford NLP课程笔记二 分词

最新推荐文章于 2023-12-07 14:17:07 发布
最新推荐文章于 2023-12-07 14:17:07 发布
阅读量897 收藏
点赞数
分类专栏： 读书笔记 文章标签： 分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snowswallowhe/article/details/46440055
版权

这一节概略的介绍了一下分词的内容。

分词是NLP里面很重要的方面。每个NLP任务都需要做文本的规范化，包括

切分单词

单词格式规范化

切分句子


用N表示单词总数，V表示不同的单词数（size of vocabulary），

用shake.txt做了实验，将非字母的字符作为分隔符，统计每个单词的出现次数。

遇到的问题： d和s 的个数非常多，因为文章中经常会出现‘s类似这样的词。这是英文分词的难点。

中文和日文没有空格。

中文词的特点：

一个字是一个音节，只有一个词形

词的平均长度是2.4个字节

中文分词的经典方法：最大匹配（greedy）

从字符串的开始找到字典中能匹配到的最长的词，然后从找出来的词下一个字节开始找

最大匹配不适合用于英文（无空格的英文）分词，因为英文有各种长度的词，特别容易分错。中文相对来说词的长度固定一些。

概率分词的方法优于最大匹配


词的规范化和提取词干

一旦分词完成，我们需要对词进行规范化

在信息检索领域，查询词和索引应该有相同的形式，比如 U.S.A和USA应该规范成USA，这样用户输入U.S.A的时候才能得到正确的搜索结果

当然，也有一些另类，比如 输入window,用户可能是想搜window,windows等，而输入Window的时候，用户可能就只想搜Window，这可能是个品牌名之类的，而不想搜window.

不过在实际中，往往还是将大写字母规范成小写，例外的是句子中间的大写 保持不变，比如General Motors,SAIL

找词干就是找出词本来的形态，比如 are->be

词素（morphemes）有两种：

词干（stem）

词缀（affix）


Porter算法

就是一些规则


比如，删除词尾的ing的时候，只处理ing之前有元音的词






cherrygirl1989
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java弹出网站源码寻找-stanfordnlp:[已弃用]此库已重命名为“Stanza”。最新进展：https://github.com/s
06-05
java弹出网站源码寻找StanfordNLP：适用于多种人类语言的 Python NLP 库 :warning: 笔记 :warning: 由于工具包自 1.0.0 版起更名为 Stanza，因此所有开发、问题、持续维护和支持都已移至我们的。 请访问我们的以获取...
nlp_复习笔记.rar
09-03
自然语言处理（NLP，Natural Language Processing）是计算机科学领域的一个重要分支，它涉及人工智能、语言学、统计学和计算机编程等多个学科。在国科大宗老师的课程中，这一领域的深度和广度得到了充分的探讨。复习...
NLP自然语言处理学习笔记
wangqiaowq的博客
12-07 567
目前存在的问题有两个方面：一方面，迄今为止的语法都限于分析一个孤立的句子，上下文关系和谈话环境对本句的约束和影响还缺乏系统的研究，因此分析歧义、词语省略、代词所指、同一句话在不同场合或由不同的人说出来所具有的不同含义等问题，尚无明确规律可循，需要加强语用学的研究才能逐步解决。自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务，在回答用户问题时，首先要正确理解用户所提出的问题，抽取其中关键的信息，在已有的语料库或者知识库中进行检索、匹配，将获取的答案反馈给用户。
Stanford自然语言处理笔记1 -basic text processing
Jige的菜鸟进化史~
02-14 847
//过年归来，虽然还想玩，但是还是要学习了，上午机器学习技法，下午nlp吧=。= //最近在看公主的男人，我家厚厚好帅=。=，实在是太呆萌了。 开始 第一部分直接讲的正则匹配=。= We和we我都想匹配出来[Ww]e这样肯定可以搞定啦 [a-z]任意一个小写字母[A-Z]任意一个大写字母 [^a-z]任意一个非小写字母 其实[]就是在这个中括号中的任意一个都可以匹配 视频中很nic
Stanford CoreNLP 进行中文分词
热门推荐
macanv的专栏
06-10 1万+
Stanford CoreNLP 进行中文分词中文分词的工具有很多，使用斯坦福的CoreNLP进行分词的教程网上也不少，本篇博客是记录自己在使用Stanford CoreNLP进行中文分词的学习笔记。1. 工具准备1.1 下载NLP相关包：网址： https://stanfordnlp.github.io/CoreNLP/index.html 需要下载的包看下图： 1.2 准备jar包将下载下来
【更新中】NLP自然语言处理学习笔记
weixin_43545225的博客
01-11 217
【更新中】NLP自然语言处理学习笔记 提示：本文为NLP学习过程中的知识心得记录，不定期更新。 文章目录【更新中】NLP自然语言处理学习笔记一、分词工具1. 中文2.英文 一、分词工具 1. 中文 Hanlp Stanford 分词 ansj 分词器 哈工大 LTP KCWS分词器 jieba IK 清华大学THULAC ICTCLAS 2.英文 Keras Spacy Gensim NLTK 如果我的文章能帮你节约20秒，就请你为我的文章点个赞吧！ ...
使用Java调用Stanford CoreNLP 进行中文分词
飞星恋的博客
11-21 9300
Stanford CoreNLP 进行中文分词 中文分词的工具有很多，使用斯坦福的CoreNLP进行分词的教程网上也不少，本篇博客是记录自己在使用Stanford CoreNLP进行中文分词的学习笔记。 1. 工具准备 1.1 下载NLP相关包： 网址： https://stanfordnlp.github.io/CoreNLP/index.html  需要下载的包看下图：  1.2 准备j...
自然语言处理从零到入门 NLP
UK - UofL HW - SDE
11-07 2551
每种动物都有自己的语言，机器也是！自然语言处理（NLP）就是在机器语言和人类语言之间沟通的桥梁，以实现人机交流的目的。人类通过语言来交流，狗通过汪汪叫来交流。机器也有自己的交流方式，那就是数字信息。不同的语言之间是无法沟通的，比如说人类就无法听懂狗叫，甚至不同语言的人类之间都无法直接交流，需要翻译才能交流。而计算机更是如此，为了让计算机之间互相交流，人们让所有计算机都遵守一些规则，计算机的这些规则就是计算机之间的语言。
学习笔记——NLP汉语自然语言处理：原理与实践
misshanbao的博客
12-26 584
学习笔记——NLP汉语自然语言处理：原理与实践 自然语言处理（Natural Language Processing，NLP）是能够实现人与计算机之间用自然语言进行有效通信的各种理论方法，也是人工智能领域中一个最重要，最艰难的方向。 NLP流程与开源框架 自然语言处理的一般架构 （1）从语法层面来说，是中文分词，词性标注，句法解析 （2）从语义层面来说，是命名实体识别，语义组块，语义角色标注 其中...
用python进行自然语言处理_用 Python 和 Stanford CoreNLP 进行中文自然语言处理
weixin_39636696的博客
11-24 609
实验环境：Windows 7 / Python 3.6.1 / CoreNLP 3.7.0一、下载 CoreNLP二、安装 stanzastanza 是 Stanford CoreNLP 官方最新开发的 Python 接口。根据 StanfordNLPHelp 在 stackoverflow 上的解释，推荐 Python 用户使用 stanza 而非 nltk 的接口。If you want to...
Stanford NLP学习笔记：7. 情感分析（Sentiment）
weixin_34037977的博客
11-15 1255
1. 什么是情感分析（别名：观点提取，主题分析，情感挖掘。。。） 应用： 1）正面VS负面的影评（影片分类问题） 2）产品/品牌评价: Google产品搜索 3）twitter情感预测股票市场行情/消费者信心 2. 目的 利用机器提取人们对某人或事物的态度，从而发现潜在的问题用于改进或预测。 这里我们所说的情感分析主要针对态度（attitude）。 注：Scherer 情感状态类型主要可以分为...
NLP-exploration:Python中自然语言处理的探索
04-09
在本项目"**NLP-exploration:Python中自然语言处理的探索**"中，我们将深入探讨Python在自然语言处理（Natural Language Processing, NLP）领域的应用。这是一次对NLP技术的实践性研究，可能包括文本预处理、情感...
中文分词-哈工大软件学院中文信息处理刘秉权
11-17
在孙传磊_1103710513_中文分词这个文件中，很可能是包含了孙传磊同学对中文分词课程的学习笔记或者项目代码。通过深入研读这些材料，读者可以了解到具体实践中如何运用所学知识，包括具体算法的实现细节、分词效果的...
nlp Michael collin
03-14
《自然语言处理——Michael Collin课程精讲》 自然语言处理（Natural Language Processing，NLP）是计算机科学领域与人工智能的一个重要分支，旨在理解和生成人类自然语言，使其能被计算机理解和利用。Michael ...
pi_heif-0.17.0-pp310-pypy310_pp73-macosx_12_0_x86_64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
mmexport1722080103662.jpg
07-27
mmexport1722080103662.jpg
matlab 20244a 6
07-27
matlab 20244a 6
pi_heif-0.17.0-cp310-cp310-macosx_12_0_x86_64.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
Stanford Coursera机器学习笔记：Andrew Ng教授课程精华
这篇笔记是匿名网友翻译的Coursera上Stanford University的Andrew Ng教授所讲授的Machine Learning课程的学习资料。Andrew Ng是机器学习领域的知名专家，他的课程深入浅出，深受全球学习者喜爱。 笔记内容分为多个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值