NLTK 基础知识总结

• 计数词汇

#!/usr/bin/env python

-- coding: utf-8 --

@Time : 2018-9-28 22:21

@Author : Manu

@Site :

@File : python_base.py

@Software: PyCharm

from future import division

import nltk

import matplotlib

from nltk.book import *

from nltk.util import bigrams

单词搜索

print(‘单词搜索’)

text1.concordance(‘boy’)

text2.concordance(‘friends’)

相似词搜索

print(‘相似词搜索’)

text3.similar(‘time’)

#共同上下文搜索

print(‘共同上下文搜索’)

text2.common_contexts([‘monstrous’,‘very’])

词汇分布表

print(‘词汇分布表’)

text4.dispersion_plot([‘citizens’, ‘American’, ‘freedom’, ‘duties’])

词汇计数

print(‘词汇计数’)

print(len(text5))

sorted(set(text5))

print(len(set(text5)))

重复词密度

print(‘重复词密度’)

print(len(text8) / len(set(text8)))

关键词密度

print(‘关键词密度’)

print(text9.count(‘girl’))

print(text9.count(‘girl’) * 100 / len(text9))

频率分布

fdist = FreqDist(text1)

vocabulary = fdist.keys()

for i in vocabulary:

print(i)

高频前20

fdist.plot(20, cumulative = True)

低频词

print(‘低频词：’)

print(fdist.hapaxes())

词语搭配

print(‘词语搭配’)

words = list(bigrams([‘louder’, ‘words’, ‘speak’]))

print(words)

NLTK设计目标

---

• 简易性；

• 一致性；

• 可扩展性；

• 模块化；

NLTK中的语料库

---

• 古腾堡语料库：gutenberg；

• 网络聊天语料库：webtext、nps_chat；

• 布朗语料库：brown；

• 路透社语料库：reuters；

• 就职演说语料库：inaugural；

• 其他语料库；

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！**

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！