2020.11-NLTK文本预处理工具学习

最新推荐文章于 2023-01-30 10:53:17 发布
最新推荐文章于 2023-01-30 10:53:17 发布
阅读量439 收藏 7
点赞数
分类专栏： 个人笔记 文章标签： NLP 文本预处理 NLTK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CuriousLiu/article/details/109816457
版权

Reference：

作者：藏经阁了知
链接：https://www.jianshu.com/p/32258d3b02f6
来源：简书

目录

零、NLTK安装&模型下载

一、分词

二、词性标注

1. 词干提取

2. 单词变体还原（基础）

3. 词性标注

三、单词变体还原（进阶）

四、去除停用词、自定义去除的characters列表、大小写转化

五、文本分析

1. 统计词频+折线图

2. 词云（可能需要对Windows环境的依赖，有待尝试）

零、NLTK安装&模型下载

安装过程应该是pip install就可以了，在安装后发现在import语句时还会显示没有模块的情况，这时候需要用到以下语句进行相关下载：

import nltk
nltk.download('punkt') # 其中punkt替换为需要安装的内容，在报错中会有显示

一、分词

使用NLTK完成简单英文句子分词的示例如下，对这里的补充内容是如果只是这种简单的拆分方式的话，和使用str.split(" ")没有区别，另外对于中文文本由于各词之间没有以空格分割，所以如果希望做char字符级别的拆分的话，可以先用" ".join()，再用.split(" ")，这里留的疑问是如果使用NLTK做中文分词级别的拆分，是否有可依赖的内容？因为对于中文分词，jieba分词应该是比较广泛使用的。

from nltk import word_tokenize

sentence = "DBSCAN - Density-Based Spatial Clustering of Applications with Noise. Finds core samples of high density and expands clusters from them. Good for data which contains clusters of similar density "
tokenWords = word_tokenize(sentence) 
print(tokenWords)

#sentence = "有记者提问，意大利米兰国家癌症中心研究显示，新冠病毒自去年9月就在意大利传播。有观点认为新冠病毒在武汉暴发之前就已经在海外传播。中方是否认同这一观点？"
#sentence = " ".join(sentence) # 中文分不开，所以需要先join空格再进行split
#print(sentence.split(" "))

output：

['DBSCAN', '-', 'Density-Based', 'Spatial', 'Clustering', 'of', 'Applications', 'with', 'Noise', '.', 'Finds', 'core', 'samples', 'of', 'high', 'density', 'and', 'expands', 'clusters', 'from', 'them', '.', 'Good', 'for', 'data', 'which', 'contains', 'clusters', 'of', 'similar', 'density']

['有', '记', '者', '提', '问', '，', '意', '大', '利', '米', '兰', '国', '家', '癌', '症', '中', '心', '研', '究', '显', '示', '，', '新', '冠', '病', '毒', '自', '去', '年', '9', '月', '就', '在', '意', '大', '利', '传', '播', '。', '有', '观', '点', '认', '为', '新', '冠', '病', '毒', '在', '武', '汉', '暴', '发', '之', '前', '就', '已', '经', '在', '海', '外', '传', '播', '。', '中', '方', '是', '否', '认', '同', '这', '一', '观', '点', '？']

二、词性标注

1. 词干提取

词干提取对于英文的目标是提取单词的词根，虽然在常规文本分析中可能用处不大，但是可能在一些信息检索中有所用处

from nltk.stem.lancaster import LancasterStemmer
from nltk import word_tokenize

sentence = "DBSCAN - Density-Based Spatial Clustering of Applications with Noise. Finds core samples of high density and expands clusters from them. Good for data which contains clusters of similar density "
tokenWords = word_tokenize(sentence)
print("tokenWords", tokenWords)

lancasterStemmer = LancasterStemmer() # 词干测定器Stemmer lancasterStemmer
wordsStemmer = [lancasterStemmer.stem(tokenWord) for tokenWord in tokenWords]
print("wordsStemmer", wordsStemmer)

output：

tokenWords ['DBSCAN', '-', 'Density-Based', 'Spatial', 'Clustering', 'of', 'Applications', 'with', 'Noise', '.', 'Finds', 'core', 'samples', 'of', 'high', 'density', 'and', 'expands', 'clusters', 'from', 'them', '.', 'Good', 'for', 'data', 'which', 'contains', 'clusters', 'of', 'similar', 'density']

wordsStemmer ['dbscan', '-', 'density-based', 'spat', 'clust', 'of', 'apply', 'with', 'nois', '.', 'find', 'cor', 'sampl', 'of', 'high', 'dens', 'and', 'expand', 'clust', 'from', 'them', '.', 'good', 'for', 'dat', 'which', 'contain', 'clust', 'of', 'simil', 'dens']

2. 单词变体还原（基础）

例如对过去时，将来时，三单等内容进行还原，但是这种基础的还原方法会发现还有一些单词处于原来的形态，这是因wordnet_lematizer.lemmatize函数默认将其当做一个名词，以为这就是单词原型，如果我们在使用该函数时指明动词词性，就可以了，这部分汇总在之后的进阶版。

from nltk.stem import WordNetLemmatizer
from nltk import word_tokenize

sentence = "DBSCAN - Density-Based Spatial Clustering of Applications with Noise. Finds core samples of high density and expands clusters from them. Good for data which contains clusters of similar density "
tokenWords = word_tokenize(sentence)
print("tokenWords", tokenWords)

wordnetLematizer = WordNetLemmatizer()
wordsLematizer = [wordnetLematizer.lemmatize(tokenWord) for tokenWord in tokenWords]
print(wordsLematizer)

output：

tokenWords ['DBSCAN', '-', 'Density-Based', 'Spatial', 'Clustering', 'of', 'Applications', 'with', 'Noise', '.', 'Finds', 'core', 'samples', 'of', 'high', 'density', 'and', 'expands', 'clusters', 'from', 'them', '.', 'Good', 'for', 'data', 'which', 'contains', 'clusters', 'of', 'similar', 'density']

['DBSCAN', '-', 'Density-Based', 'Spatial', 'Clustering', 'of', 'Applications', 'with', 'Noise', '.', 'Finds', 'core', 'sample', 'of', 'high', 'density', 'and', 'expands', 'cluster', 'from', 'them', '.', 'Good', 'for', 'data', 'which', 'contains', 'cluster', 'of', 'similar', 'density']

3. 词性标注

词性标注就是把这个单词对应到动词，名词等具体的词性。

from nltk import word_tokenize,pos_tag

sentence = "DBSCAN - Density-Based Spatial Clustering of Applications with Noise. Finds core samples of high density and expands clusters from them. Good for data which contains clusters of similar density"
tokenWords = word_tokenize(sentence)  #分词
print("tokenWords", tokenWords)
labeledTokenWords = pos_tag(tokenWords)     #词性标注
print("labeledTokenWords", labeledTokenWords)

output：

tokenWords ['DBSCAN', '-', 'Density-Based', 'Spatial', 'Clustering', 'of', 'Applications', 'with', 'Noise', '.', 'Finds', 'core', 'samples', 'of', 'high', 'density', 'and', 'expands', 'clusters', 'from', 'them', '.', 'Good', 'for', 'data', 'which', 'contains', 'clusters', 'of', 'similar', 'density']

labeledTokenWords [('DBSCAN', 'NNP'), ('-', ':'), ('Density-Based', 'JJ'), ('Spatial', 'NNP'), ('Clustering', 'NNP'), ('of', 'IN'), ('Applications', 'NNP'), ('with', 'IN'), ('Noise', 'NNP'), ('.', '.'), ('Finds', 'NNP'), ('core', 'NN'), ('samples', 'NNS'), ('of', 'IN'), ('high', 'JJ'), ('density', 'NN'), ('and', 'CC'), ('expands', 'VBZ'), ('clusters', 'NNS'), ('from', 'IN'), ('them', 'PRP'), ('.', '.'), ('Good', 'JJ'), ('for', 'IN'), ('data', 'NNS'), ('which', 'WDT'), ('contains', 'VBZ'), ('clusters', 'NNS'), ('of', 'IN'), ('similar', 'JJ'), ('density', 'NN')]

词性标签如下（Reference：https://blog.csdn.net/weixin_38627015/article/details/88727790）：

CC      Coordinating conjunction 连接词
CD     Cardinal number  基数词
DT     Determiner  限定词（如this,that,these,those,such，不定限定词：no,some,any,each,every,enough,either,neither,all,both,half,several,many,much,(a) few,(a) little,other,another.
EX     Existential there 存在句
FW     Foreign word 外来词
IN     Preposition or subordinating conjunction 介词或从属连词
JJ     Adjective 形容词或序数词
JJR     Adjective, comparative 形容词比较级
JJS     Adjective, superlative 形容词最高级
LS     List item marker 列表标示
MD     Modal 情态助动词
NN     Noun, singular or mass 常用名词 单数形式
NNS     Noun, plural  常用名词 复数形式
NNP     Proper noun, singular  专有名词，单数形式
NNPS     Proper noun, plural  专有名词，复数形式
PDT     Predeterminer 前位限定词
POS     Possessive ending 所有格结束词
PRP     Personal pronoun 人称代词
PRP$     Possessive pronoun 所有格代名词
RB     Adverb 副词
RBR     Adverb, comparative 副词比较级
RBS     Adverb, superlative 副词最高级
RP     Particle 小品词
SYM     Symbol 符号
TO     to 作为介词或不定式格式
UH     Interjection 感叹词
VB     Verb, base form 动词基本形式
VBD     Verb, past tense 动词过去式
VBG     Verb, gerund or present participle 动名词和现在分词
VBN     Verb, past participle 过去分词
VBP     Verb, non-3rd person singular present 动词非第三人称单数
VBZ     Verb, 3rd person singular present 动词第三人称单数
WDT     Wh-determiner 限定词（如关系限定词：whose,which.疑问限定词：what,which,whose.）
WP      Wh-pronoun 代词（who whose which）
WP$     Possessive wh-pronoun 所有格代词
WRB     Wh-adverb   疑问代词（how where when）

三、单词变体还原（进阶）

使用词性指明，之后进一步还原变体，这样一些动词就不会被识别为名词等了。

from nltk import word_tokenize,pos_tag
from nltk.stem import WordNetLemmatizer
wordsLematizer = []
wordnetLematizer = WordNetLemmatizer()

sentence = "DBSCAN - Density-Based Spatial Clustering of Applications with Noise. Finds core samples of high density and expands clusters from them. Good for data which contains clusters of similar density"
tokenWords = word_tokenize(sentence)  #分词
labeledTokenWords = pos_tag(tokenWords)     #词性标注
print(labeledTokenWords)

tempPos = ''
for word, tag in labeledTokenWords:
    tempPos = '' # 指定了一个词性，这样在往回还原的时候会按照动词的形式进行往回还原
    if tag.startswith('NN'):
        tempPos = 'n'
        
    elif tag.startswith('VB'):
        tempPos = 'v'
    elif tag.startswith('JJ'):
        tempPos = 'a'
    elif tag.startswith('R'):
        tempPos = 'r'

    if len(tempPos):
        wordLematizer = wordnetLematizer.lemmatize(word, pos=tempPos)
    else:
        wordLematizer = wordnetLematizer.lemmatize(word)
    tempPos = ''

    wordsLematizer.append(wordLematizer)

print(wordsLematizer)

output：

[('DBSCAN', 'NNP'), ('-', ':'), ('Density-Based', 'JJ'), ('Spatial', 'NNP'), ('Clustering', 'NNP'), ('of', 'IN'), ('Applications', 'NNP'), ('with', 'IN'), ('Noise', 'NNP'), ('.', '.'), ('Finds', 'NNP'), ('core', 'NN'), ('samples', 'NNS'), ('of', 'IN'), ('high', 'JJ'), ('density', 'NN'), ('and', 'CC'), ('expands', 'VBZ'), ('clusters', 'NNS'), ('from', 'IN'), ('them', 'PRP'), ('.', '.'), ('Good', 'JJ'), ('for', 'IN'), ('data', 'NNS'), ('which', 'WDT'), ('contains', 'VBZ'), ('clusters', 'NNS'), ('of', 'IN'), ('similar', 'JJ'), ('density', 'NN')]

['DBSCAN', '-', 'Density-Based', 'Spatial', 'Clustering', 'of', 'Applications', 'with', 'Noise', '.', 'Finds', 'core', 'sample', 'of', 'high', 'density', 'and', 'expand', 'cluster', 'from', 'them', '.', 'Good', 'for', 'data', 'which', 'contain', 'cluster', 'of', 'similar', 'density']

四、去除停用词、自定义去除的characters列表、大小写转化

#encoding:utf-8
from nltk.corpus import stopwords
from nltk import word_tokenize,pos_tag
from nltk.stem import WordNetLemmatizer

wordsLematizer = []
wordnetLematizer = WordNetLemmatizer()

sentence = "DBSCAN - Density-Based Spatial Clustering of Applications with Noise. Finds core samples of high density and expands clusters from them. Good for data which contains clusters of similar density?"
tokenWords = word_tokenize(sentence)  #分词
labeledTokenWords = pos_tag(tokenWords)     #词性标注

tempPos = ''
for word, tag in labeledTokenWords:
    tempPos = '' # 指定了一个词性，这样在往回还原的时候会按照动词的形式进行往回还原
    if tag.startswith('NN'):
        tempPos = 'n'
        
    elif tag.startswith('VB'):
        tempPos = 'v'
    elif tag.startswith('JJ'):
        tempPos = 'a'
    elif tag.startswith('R'):
        tempPos = 'r'

    if len(tempPos):
        wordLematizer = wordnetLematizer.lemmatize(word, pos=tempPos)
    else:
        wordLematizer = wordnetLematizer.lemmatize(word)
    tempPos = ''

    wordsLematizer.append(wordLematizer)

cleanedWords = [word for word in wordsLematizer if word not in stopwords.words('english')]
print("原始词：", wordsLematizer)
print("去除停用词后：", cleanedWords)


#去除特殊字符
characters = [',', '.','DBSCAN', ':', ';', '?', '(', ')', '[', ']', '&', '!', '*', '@', '#', '$', '%','-','...','^','{','}']
wordsList = [word for word in cleanedWords if word not in characters]
print("自定义characters列表，并去除包含在列表中的内容", wordsList)



#大小写转化
#为防止同一个单词同时存在大小写，而算作两个单词的情况，还需要统一单词大小写
lowerWordsList = [x.lower() for x in wordsList]
print("大小写转化（小写）：", lowerWordsList)

upperWordsList = [x.upper() for x in wordsList]
print("大小写转化（大写）：", upperWordsList)

output：

原始词： ['DBSCAN', '-', 'Density-Based', 'Spatial', 'Clustering', 'of', 'Applications', 'with', 'Noise', '.', 'Finds', 'core', 'sample', 'of', 'high', 'density', 'and', 'expand', 'cluster', 'from', 'them', '.', 'Good', 'for', 'data', 'which', 'contain', 'cluster', 'of', 'similar', 'density', '?']

去除停用词后： ['DBSCAN', '-', 'Density-Based', 'Spatial', 'Clustering', 'Applications', 'Noise', '.', 'Finds', 'core', 'sample', 'high', 'density', 'expand', 'cluster', '.', 'Good', 'data', 'contain', 'cluster', 'similar', 'density', '?']

自定义characters列表，并去除包含在列表中的内容 ['Density-Based', 'Spatial', 'Clustering', 'Applications', 'Noise', 'Finds', 'core', 'sample', 'high', 'density', 'expand', 'cluster', 'Good', 'data', 'contain', 'cluster', 'similar', 'density']

大小写转化（小写）： ['density-based', 'spatial', 'clustering', 'applications', 'noise', 'finds', 'core', 'sample', 'high', 'density', 'expand', 'cluster', 'good', 'data', 'contain', 'cluster', 'similar', 'density']

大小写转化（大写）： ['DENSITY-BASED', 'SPATIAL', 'CLUSTERING', 'APPLICATIONS', 'NOISE', 'FINDS', 'CORE', 'SAMPLE', 'HIGH', 'DENSITY', 'EXPAND', 'CLUSTER', 'GOOD', 'DATA', 'CONTAIN', 'CLUSTER', 'SIMILAR', 'DENSITY']

五、文本分析

1. 统计词频+折线图

#encoding:utf-8
#经过之前的文本预处理后，已经得到干净的单词列表做文本分析或文本挖掘

#统计词频
from nltk import FreqDist
import matplotlib

lowerWordsList = ['density-based', 'spatial', 'clustering', 'applications', 'noise', 'finds', 'core', 'sample', 'high', 'density', 'expand', 'cluster', 'good', 'data', 'contain', 'cluster', 'similar', 'density']

#函数FreqDist方法获取在文本中每个出现的标识符的频率分布。通常情况下，函数得到的是每个标识符出现的次数与标识符的map映射 
freq = FreqDist(lowerWordsList) # 可以理解为dict
print("frequency",freq)
for key, value in freq.items():
    print(str(key) + ':' + str(value))

#可视化-折线图
freq.plot(20,cumulative=False) # 保存下来这个图的清晰度还是很高的，在数学建模等比赛中都可以尝试使用

output：

density-based:1
spatial:1
clustering:1
applications:1
noise:1
finds:1
core:1
sample:1
high:1
density:2
expand:1
cluster:2
good:1
data:1
contain:1
similar:1

2. 词云（可能需要对Windows环境的依赖，有待尝试）

 

CuriousLiu
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nltk的介绍和基本的文本预处理
print_and_return的博客
06-12 2110
安装nltkpip install nltk打开下载器nltk.download()其中包括各种语料库，分词模型等我们下载brown语料包和punkt模型下载完后可以导入语料库英文分词然后对句子进行分词，使用word_tokennize方法的前提是必须要安装分词模型，如punkt分词后的结果是列表from nltk.corpus import brown中文分词import jieba一般中文都是...
NLTK 字符串文本预处理全部代码示例
光英的记忆博客
06-06 874
from __future__ import print_function import nltk from nltk.tokenize import TreebankWordTokenizer from nltk.tokenize import WordPunctTokenizer from nltk.tokenize import RegexpTokenizer from nltk.toke...
matlab自相关代码-SpatClustMixtures:SpatClust混合物
05-23
matlab自相关代码SpatClustMixtures：使用嵌入在混合模型中的高斯过程进行时空聚类 维护者：Jarno Vanhatalo（） 参考 如果您使用SpatClustMixtures或以其他方式引用它，请使用以下参考： 贾尔诺·范哈塔洛（Jarno Vanhatalo），斯科特·D·福斯特（Scott D.Foster）和杰弗里·R·霍萨克（Geoffrey R. 使用嵌入在混合模型中的高斯过程进行时空聚类。 环境计量学。 介绍 SpatClustMixtures是一个Matlab代码包，用于对多维数据的混合建模中的群集组件进行高斯过程（GP）时空平滑。 聚类的许多应用程序，包括生态学中的大多数任务，都使用固有的空间数据，并且通常也是时间数据。 但是，在对多元数据进行聚类时，通常会忽略时空依赖性。 我们提出了一种用于空间和时空聚类的有限混合模型，该模型通过将适当的高斯过程包括在混合比例模型中来合并空间和时空自相关。 我们还允许再次使用高斯过程对环境协变量进行灵活和半参数的依赖。 该程序包通过三层近似方法采用贝叶斯推理：允许对大型数据集进行有效分析的拉普拉斯近似方法，以及部
自然语言处理--nltk库WordNetLemmatizer词形归并
糯米君的博客
12-21 9741
对于任何一个 NLP 流水线，如果想要对相同语义词根的不同拼写形式都做出统一回复的话，那么词形归并工具就很有用，它会减少必须要回复的词的数目，即语言模型的维度。利用词形归并工具，可以让模型更一般化，当然也可能带来模型精确率的降低，因为它会对同一词根的不同拼写形式一视同仁。 from nltk.stem import WordNetLemmatizer lemmatizer = WordNetLemmatizer() # 默认其为名词 print(lemmatizer.lemmatize("better")
【NLP】第 4 章：文本预处理、词干提取和词形还原
sikh_0529的博客
09-28 6032
最终，与计算中的许多问题一样，这是一个权衡速度与细节的问题。能够将 10 个单词的句子减少到由多个核心引理组成的五个单词，而不是相似单词的多个变体，这意味着我们需要通过神经网络提供的数据要少得多。如果我们使用词袋表示，我们的语料库将明显更小，因为多个单词都减少到相同的词条，而如果我们计算嵌入表示，则捕获我们单词的真实表示所需的维数会更小减少语料库。为了返回任何给定句子的正确词形还原，我们必须首先执行 POS 标记以获取句子中单词的上下文，然后将其传递给 lemmatizer 以获得句子中每个单词的词元。
《自然语言处理：基于预训练模型的方法》第三章 NLTK工具集
勇气与行动
11-04 939
NLTK(Natural Language Toolkit)是一个Python模块，提供了多种语料库（Corpora）和词典（Lexicon）资源，如WordNet等，以及一系列基本的自然语言处理工具，包括：分句，标记解析（Tokenization）、词干提取（Stemming）、词性标注（POS Tagging）和句法分析（Syntactic Parsing）等，是对英文文本数据进行处理的常用工具。 为了使用NLTK，需要对其进行安装，可以使用pip包管理工具安装，具体方法为： pip install
NLP(II)：使用NLTK进行数据预处理
SWY's Workshop
01-30 492
在上一节中我们使用原始的正则表达式对语料进行处理，显然，这是费力不讨好的工作。本着“不重复造轮子”的原则，这节开始我们用现成的轮子，调包侠出击。
nltk-develop.zip
05-09
nltk-develop.zip
HAN中文分词，使用collection.Counter和nltk相应工具包完成训练集词频统计分析
01-13
HAN中文分词，使用collection.Counter和nltk相应工具包完成训练集词频统计分析 HAN中文分词，使用collection.Counter和nltk相应工具包完成训练集词频统计分析。展示出现次数最多的前80个词；使用结巴分词默认配置...
Cleaning-Text-NLTK：手动和使用NLTK清洁文本
02-12
清洗文本-NLTK 我们无法使用原始文本来拟合机器学习或深度学习模型。 我们需要首先清理文本，这意味着将其拆分为单词并处理标点和大小写。 实际上，我们可能需要使用一整套文本准备方法，而方法的选择实际上取决于...
nltk-2.0b8.macosx-10.5-i386.tar.gz
03-06
Python库是一组预先...例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
rake-nltk：使用NLTK的快速自动关键字提取算法的Python实现
02-02
耙子 RAKE是快速自动关键字提取算法的缩写，它是一种与域无关的关键字提取算法，它通过分析单词出现的频率及其与文本中其他单词的共现程度来尝试确定文本主体中的关键短语。建立使用点子pip install rake-nltk直接从...
nltk 文本预处理
luoganttcc的博客
09-16 1128
分词 from nltk import word_tokenize sentence = """ 3w.ναdΜāιι.com Provide you with a professional platform for the sale and purchase of virtual products for games. Welcome to settle in 3w.ναdΜāιι.com ...
NLTK文本预处理与文本分析
weixin_38627015的博客
03-22 1258
本文主要介绍Python中NLTK文本分析的内容，咱先来看看文本分析的整个流程： 原始文本 - 分词 - 词性标注 - 词形归一化 - 去除停用词 - 去除特殊字符 - 单词大小写转换 - 文本分析 一、分词 使用DBSCAN聚类算法的英文介绍文本为例： from nltk import word_tokenize sentence = "DBSCAN - Density-Based Spat...
Python文本特征及分类
天空没有留下我的痕迹，但我已飞过！
07-05 2062
1、情感分析 # 简单的例子 import nltk from nltk.stem import WordNetLemmatizer from nltk.corpus import stopwords from nltk.classify import NaiveBayesClassifier text1 = 'I like the movie so much!' text2 = 'That ...
NLTK的分词器
henghen9943的博客
08-08 1685
最近在做nlp的任务，经常会用到分词。有个问题：nltk的word_tokenizer和直接使用split(' ')感觉效果是类似的，而且还会出现can't这类的词被word_tokenizer切分成ca n't。这样看来，以后分词就直接使用split(' ')更加高效和正确么？？？...
U1C2 文本预处理
UK - UofL HW - SDE
02-07 1365
U1C2 Text pre-processing一、正则表达式 - Regular Expressions1、基本正则表达式模式 Basic Regular Expression Patterns2、析取、分组与优先级 Disjunction, Grouping, and Precedence二、更多正则表达式：替换和ELIZA - More Regular Expressions:Substitutions and ELIZA三、词汇和语料库 - Words and Corpora四、单词标记化 - Wo
自然语言处理-文本预处理的分词（nltk包）
m0_51499154的博客
09-20 499
1.分词-
NLTK自然语言处理工具包的使用
九久的博客
03-09 454
该工具包包括：读取数据、清理数据、使用模型 导入所需要的包 #导入所需要的包 import numpy as np import matplotlib.pyplot as plt import pandas as pd 导入数据 dataset = pd.read_csv("Restaurant_Reviews.tsc",delimiter = '\t',quoting = 3) 其中使用的数据后缀为tsv而并非csv，这是由于csv是以逗号作为分隔符，tsv是以tab作为分隔符，而大多数情况下我们无法
http://www.nltk.org/nltk_data/
最新发布
04-25
根据该链接的域名和路径，它似乎是nltk（自然语言工具包）的官方网站。nltk是一个流行的Python库，用于处理和分析自然语言文本。该网站可能包含有关nltk的文档、示例代码、语料库和其他相关资源。 如果您需要访问该...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值