《Python自然语音处理》简要笔记

第一章 语言处理与Python
1.1 文本和词汇 基本讲了NLTK入门，concordance,similar,common_contexts,generate,标识符(所有单词计数len),类型（单词类型总数set），词汇多样性(单词平均词频)
1.2 将文本当做链表 其实就是将文本中的单词变成list中的元素
1.3 简单的统计 词频率，词语搭配(bigram,2-gram)red wine和the wine,计算其它东西，不同词长度的出现次数。
1.4 回到Python:决策与控制 python [] 嵌套等
1.5 自动理解自然语言 词意消歧，指代消解，自动生成语言，机器翻译，人机对话系统，文本的含义。

第二章 获得文本语料和词汇资源
2.1 获取文本语料库 基本是说NLTK的基本语料库，还有添加自己语料的教程
2.2 条件分布
(1)计算不同类型的文本，词语的频率，比如说News，和Romance类型中文本中哪些词用得多，使用conditionalFreqDist.
(2)使用双连词(bigram,2-gram)生成随机文本，计算出双连词频率后，给定一个单词，比如living ,然后给出紧跟单词 creature
2.3 更多关于Python:代码重用 讲了一下python编程
2.4 词典资源
(1)词汇表，停用词，可检查罕见词汇或者拼写错误单词
(2)发音词典，在NLTK中包括美国英语的CMU发音词典，每个单词都有其发音，可通过发音找押韵词
(3)比较词典，在NLTK中包含了多种语言的翻译关系，斯瓦迪士核心此列表swadesh
(4)词汇工具，Toolbox,Shoebox目前最流行的语言学家用来管理数据的工具，包含了各种语言词汇，词性，和其它语言翻译关系
2.5 WordNet
1.WordNet面向语义的英语词典，之所以命名有Net说明其具有层次结构，结构包含了同义词，上下级关系等，可用来查找同义词，语义相似度

第三章 处理原始文本
3.1 从网络和硬盘访问文本
(1)通过本地磁盘访问，进行切词
(2)通过url直接访问网页
(3)通过搜索引擎获取信息，比如搜索”the of”然后会出现啥东西，该结果就可以说是和”the of”相匹配
(4)可通过feedparser第三方库爬去博客信息
(5)PDF,Word这种二进制文件可以使用第三方库pypdf,pywin32
3.2 字符串:最底层处理 其实就是一些python字符串处理方法
3.3 使用Unicode进行文本处理
3.4 使用正则表达式检测词组搭配
3.5 正则表达式的有益应用 元音匹配，查找词干
3.6 规范化文本 词干提取器，词形归并
3.7 用正则表达式为文本分词
3.8 分割 断句，分词
3.9 格式化:从链表到字符串 一些字符串和链表的转换，格式化等等，可以采用textwrap模块进行格式化输出

第四章 编写结构化程序
整章都在介绍python编程基础

第五章 分类和标注词汇
5.1 使用磁性标注器
5.2 标注语料库
5.3 使用Python字典映射词及属性
5.4 自动标注(自动词性标注)
5.5 N-gram标注（在标注之前，考虑前N个词后再标记）
5.6 基于转换的标注
5.7 如何确定一个词的分类

第六章 学习分类文本
6.1 监督式分类
(1)NLTK有内置的分类算法
(2)探索上下文语境，根据上下文语境，将特征词的词性作为特征加进来
6.2 监督式分类举例
(1)句子分割
(2)识别对话行为类型
(3)识别文字蕴涵
6.3 评估
6.4 决策树
6.5 朴素贝叶斯分类器
6.6 最大熵分类器
6.7 为语言模式建模

第七章 从文本提取信息
7.1 信息提取
例子:给出一段文本，输出xxx公司及公司的位置
流程
断句(句子分割器)->分词(分词器)->(词性标注)->命名实体识别(分块技术)->确认关系
7.2 分块
7.3 开发和评估分块器
7.4 语言结构中的递归
7.5 命名实体识别
7.6 关系抽取

第八章 分析句子结构
未完待续