python自然语言处理

1，统计词频（中文）

import jieba

from nltk import FreqDist

data = jieba.cut('字符串')#这是一个生成器

dataFre = FreqDist(list(data)) #获得一个词频字典

2，统计词频（英文）

tokens = nltk.word_tokenize(raw)

text = nltk.Text(tokens)

dataFre = FreqDist(text)

3,用nltk.ConditionalFreqDist画频率图

names=nltk.corpus.names

cfd = nltk.ConditionalFreqDist((fileid,name[-1]) for fileid in names.fileids()  for name in names.words(fileid))

cfd.plot()

第一个参数为要观察的对象，第二个参数就是x轴，就是说要统计female.txt和male.txt中已a-z结尾的名字的个数

4，str常用的函数

s.find(t)  字符串s中包含t的第一个索引 ,若无，则返回-1

s.rfind(t) 字符串s中包含t的最后一个索引，若无，则返-1

s.index(t) 和s.find(t)相似，若无则抛出异常

s.rindex(t) 和s.rfind(t)相似，若无则抛出异常

s.splitlines() 将s 按行分割成字符串链表

s.titlecase() 将字符串s的首字母大写

s.replace(t,u) 用u替换s中的t

5 Unicode的编码和解码

将文本从文件/终端中读到内存中的方式为编码，将内存中的文本写入到文件中的形式叫做解码