《Python自然语言处理》学习笔记-第一章

1.1 语言计算：文本和单词

搜索文本
（1）词语索引视图：显示一个指定单词的每一次出现，连同一些上下文一起显示。使用concordance(‘xxx’)方法。
（2）找出现在相似上下文的词，使用similar(‘xxx’)方法。
（3）获取两个或两个以上的词的共同上下文，使用common_contexts([])方法。
（4）离散图：判断词在文本中的位置，显示从文本开头算起它前面有多少个词，使用dispersion_plot([])方法。（也需要安装numpy的matplotlib包）离散图可以用来词语用法模式，随时间推移语言使用上的变化。
（5）在nltk3中没有了generate这个产生随机文本的方法。

计数词汇
（1）使用len获取长度。
（2）使用set函数去除重复的词，得到词汇表。
（3）词类型：指一个词在一个文本中独一无二的出现形式或拼写，标点符号不算。
（4）文本词汇丰富度测量：即每个词平均被使用的次数，也就是文本总词数除以词汇表长度。
（5）count方法计数特定词在文本中出现的次数。

---

1.2 近观Python：将文本当作词链表

链表
ÿ