caicai1617的专栏

第五章 分类和标注词汇5.1 使用词性标注器1 POS概述将词汇按它们的词性（parts-of-speech ， POS）分类以及相应的标注它们的过程被称为词性标注（part-of-speech tagging, POS tagging ）或干脆简称标注。词性也称为词类或词汇范畴。 用于特定任务的标记的集合被称为一个标记集。一个词性标注器（part-of-speech tagger 或

一 得到原始文本内容    def FileRead(self,filePath):        f = open(filePath)        raw=f.read()        return raw二 去除停用词（nltk.word_tokenize）        tokens = nltk.word_tokenize(raw)        sto

Python下的中文信息处理的实现（一）一 安装和测试Python下的中文分词工具参考http://hi.baidu.com/fooying/item/6ae7a0e26087e8d7eb34c9e8的帖子“四款python中文分词系统简单测试”。从评测的结果来看在Python下可以采用的较好的中文分词工具是结巴中文分词和中科院的分词系统。对于这两个工具进行测试。

在NLP中使用Deep Learning的还很少，有一种说法是认为语言（词、句子、篇章等）属于人类认知过程中产生的高层认知抽象实体，而语音和图像属于较为底层的原始输入信号，所以后两者更适合做deep learning来学习特征。但是高度抽象并不意味着没有可能，可以在这个方面进行有益的尝试。文档的表示      文档的表示是为了把文档的符号内容数字化。最简单的是使用布尔向量来表示文档，每个词

第二章 获得文本语料和词汇资源2.1 获取文本语料库1 古腾堡语料库Project Gutenberg的语料库包含>>>import nltk>>>from nltk.corpus import gutenberg>>>gutenberg.fileids() ['austen-emma.txt','austen-persuasion.txt', 'austen-sens

第四章 编写结构化程序4.1 回到基础1 赋值学过C，习惯了Java再过来学Python，感觉完全像《罗马假日》里安妮公主穿便装去城里撒欢一样。不需要声明，不需要初始化，随便用，太随意了。但是很快我就发现，自由对于理性不足的人来说是充满陷阱的。过于自由的语法提高了对经验的要求，新手很容易出现问题。所以还是决定，继续沿用MVC的模式和华为的Java编程规范来写Python。也许等多写写后

第六章 学习分类文本6.1 有监督分类1 分类概述分类是为给定的输入选择正确的类标签的任务。在基本的分类任务中，每个输入被认为是与所有其它输入隔离的，并且标签集是预先定义的。基本的分类任务有许多有趣的变种。例如： 在多类分类中， 每个实例可以分配多个标签；在开放性分类中， 标签集是事先没有定义的； 在序列分类中， 一个输入链表作为一个整体分类。如果分类的建立基于包含每个输入的正确标签的

简化步骤1 安装Python2.7 Ubuntu12.04 默认安装Python2.7.3首先通过下面的命令安装pip，pip是Python的一个安装和管理扩展库的工具sudo apt-get install python-pip安装Python开发环境，方便今后编译其他扩展库sudo apt-get install python-dev安装missing的包apt

一 安装NLTK环境1.1 windows 7 32的安装1. 安装Python2.7（稳定版本，http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy）；2. 安装NumPy：（http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy）运行numpy‑MKL‑1.8.1rc1.win32‑py2.7.e

使用R语言进行自然语言处理学习笔记一第一章 基础1 安装R 是一个有着统计分析功能及强大作图功能的软件系统， 是由奥克兰大学统计学系的Ross Ihaka 和Robert Gentleman 共同创立（两个名字都是R打头，所以叫R语言）。据说R语言很像S语言，但是我也不知道S语言是什么样的。安装R的工具可以去官网http://mirror.bjtu.edu.cn/cran/我的安装

四 NLTK下的基本操作1 命名小技巧(1) 排序表中大写字母出现在小写字母之前；(2) 选择有意义的变量名，它能提醒你代码的含义，也帮助别人读懂你的代码；(3) 经常使用变量来保存计算的中间步骤，尤其是当这样做使代码更容易读懂时；(4) 应该以字母开始，大小写敏感，不能包含空格但可以用下划线；2 字符串的合并和拆分(1) ' '.join(['Monty', 'Pyt

第二章 获得文本语料和词汇资源2.2 条件频率分布1条件和事件频率分布计算观察到的事件，如文本中出现的词汇。条件频率分布需要给每个时间关联一个条件，所以不是处理一个词序列，我们必须处理的是一个配对序列。每对的形式是：（条件，事件） 。2按文体计数词汇FreqDist()以一个简单的链表作为输入，ConditionalFreqDist()以一个配对链表作为输入。参见代码模块N

第三章 加工原料文本3.1 从网络和硬盘访问文本1 电子书古腾堡项目的其它文本可以在线获得，整个过程大概需要几十秒（实验室网络不行是硬伤）使用raw（）可以得到原始的字符串。但是raw得到的数据绝对不是我们能直接拿去分析的，还要经过一些预处理。我们要将字符串分解为词和标点符号，正如我们在第 1 章中所看到的。这一步被称为分词， 它产生我们所熟悉的结构，一个词汇和标点符号的链

一 得到原始文本内容 def FileRead(self,filePath): f = open(filePath) raw=f.read() return raw二 中文分词参考之前的一篇博客Python下的中文分词实现def NlpirTokener(self,raw): result=''