广西民族大学高级人工智能课程—头歌实践教学实践平台—自然语言处理语料库

代码文件

import nltk
from nltk import data
import os

def task(setence):
    yuliaoku_path = os.path.join(os.getcwd(), "yuliaoku")
    # 通过指定的路径名加载语料库
    data.path.append(yuliaoku_path)
    ######### Begin #########
# 分词的函数是word_tokenize
    text = nltk.word_tokenize(setence)
    print(nltk.pos_tag(text))
    ######### End #########

题目描述

任务描述

本关任务：使用nltk进行分词。

相关知识

本关将介绍自然语言处理中的语料库。

语料库

基于统计的自然语言处理和基于深度学习的自然语言处理都需要大量的语言数据作为训练数据。存储这些数据的仓库就被称为语料库。

我们知道，在使用机器学习技术处理图像的时候，通常都是遇到具体的问题再去收集数据，形成数据库。这是因为图片的数量是难以穷尽的，不可能为所有的图像处理问题建立一个统一的数据仓库。但是自然语言处理中，有些数据其实是有限的，比如中文中的词语，而且几乎所有涉及中文的自然语言处理都可能用到这个数据库。所以为进行自然语言处理建立一些统一的数据库是有可能的。

语料库的历史

语料库的发展经历了如下几个历史阶段：

• 20世纪