初识nlp （1 （分词

1 nltk知识
Python上著名的自然语处理库。带语料库，词性分类库。 带分类，分词，等等功能

pip install -U nltk   

安装语料库

import nltk 
  nltk.download() 

简易处理流程图

2 tokenize分词

>>> import nltk 
>>> tokens = nltk.word_tokenize(“hello, world" ) 
>>> tokens 
 ['hello', ‘,', 'world'] 

中文分词与英文有差别 ：今天 today

中文分词可用 jieba
例子
import jieba
seg_list = jieba.cut(“我来到北京清华大学”, cut_all=True)
print “Full Mode:”, “/ “.join(seg_list) # 全模式
我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

seg_list = jieba.cut(“我来到北京清华大学”, cut_all=False)
print “Default Mode:”, “/ “.join(seg_list) # 精确模式
我/ 来到/ 北京/ 清华大学
seg_list = jieba.cut(“他来到了网易杭研大厦”) # 默认是精确模式
print “, “.join(seg_list)
他, 来到, 了, 网易, 杭研, 大厦
seg_list = jieba.cut_for_search(“小明硕士毕业于中国科学院计算所，后在日本京都大学深造”)
print “, “.join(seg_list)
小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

但tokenize会遇到不好办的时候，遇到表情或是html等

from nltk.tokenize import word_tokenize 
tweet = 'RT @angelababy: love you baby! :D http://ah.love #168cm' 
print(word_tokenize(tweet)) 
# ['RT', '@', 'angelababy', ':', 'love', 'you', 'baby', '!', ':', 
# ’D', 'http', ':', '//ah.love', '#', '168cm']

http://www.regexlab.com/zh/regref.htm 详情
需要用到正则表达式
[0-9a-zA-Z_]可以匹配一个数字、字母或者下划线；

[0-9a-zA-Z_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如’a100’，’0_Z’，’Py3000’等等；

[a-zA-Z_][0-9a-zA-Z_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；

[a-zA-Z_][0-9a-zA-Z_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。

(P|p)ython可以匹配’Python’或者’python’

^表示行的开头，^\d表示必须以数字开头。

$表示行的结束，\d$表示必须以数字结束。

python中用 re模块使用正则表达式

切分字符串

用正则表达式切分字符串比用固定的字符更灵活，请看正常的切分代码：

>>> 'a b   c'.split(' ')
['a', 'b', '', '', 'c']

正则

>>> re.split(r'\s+', 'a b   c')
['a', 'b', 'c']

>>> re.split(r'[\s\,\;]+', 'a,b;; c  d')
['a', 'b', 'c', 'd']

用()表示的就是要提取的分组（Group）

m = re.match(r’^(\d{3})-(\d{3,8})$’, ‘010-12345’)
m
<_sre.SRE_Match object; span=(0, 9), match=’010-12345’>
m.group(0)
‘010-12345’
m.group(1)
‘010’
m.group(2)
‘12345’

正则表达式\d+默认贪婪匹配 用\d+? 非贪婪

>>> re.match(r'^(\d+?)(0*)$', '102300').groups()
('1023', '00')

在此 对社交网络语言 tokenize

import re
r'<[^>]+>', # HTML tags
r'(?:@[\w_]+)', # @某⼈
r"(?:\#+[\w_]+[\w\'_\-]*[\w_]+)", # 话题标签
r'http[s]?://(?:[a-z]|[0-9]|[$-_@.&amp;+]|[!*\(\),]|(?:%[0-9a-f][0-9a-f]))+',     # URLs
r'(?:(?:\d+,?)+(?:\.?\d+)?)', # 数字
r"(?:[a-z][a-z'\-_]+[a-z])", # 含有 - 和 ‘ 的单词
r'(?:[\w_]+)', # 其他
r'(?:\S)' # 其他

tokens_re = re.compile(r'('+'|'.join(regex_str)+')', re.VERBOSE | re.IGNORECASE)
emoticon_re = re.compile(r'^'+emoticons_str+'$', re.VERBOSE | re.IGNORECASE)

def tokenize(s):
    return tokens_re.findall(s)

def preprocess(s, lowercase=False):
    tokens = tokenize(s)
    if lowercase:
        tokens = [token if emoticon_re.search(token) else token.lower() for token in 
tokens]
    return tokens

tweet = 'RT @angelababy: love you baby! :D http://ah.love #168cm'
print(preprocess(tweet))
# ['RT', '@angelababy', ':', 'love', 'you', 'baby', 
# ’!', ':D', 'http://ah.love', '#168cm']

用正则表达式 tokenize 网络语言

3、词性归一（对英文有需要

Stemming 就是把不影响词性的inflection的尾巴砍掉
walking 砍ing = walk

Lemmatization 词形归一：把各种类型的词的变形，
went 归一 = go

NLTK实现Stemming

>>> from nltk.stem import SnowballStemmer
>>> snowball_stemmer = SnowballStemmer(“english”)
>>> snowball_stemmer.stem(‘maximum’)
u’maximum’
>>> snowball_stemmer.stem(‘presumably’)
u’presum’

NLTK实现Lemma

>>> from nltk.stem import WordNetLemmatizer
>>> wordnet_lemmatizer = WordNetLemmatizer()
>>> wordnet_lemmatizer.lemmatize(‘dogs’)
u’dog’
>>> wordnet_lemmatizer.lemmatize(‘churches’)
u’church’

>>> wordnet_lemmatizer.lemmatize(‘is’, pos=’v’)
u’be’

词性默认n，加上pos=v，将词性改成v

NLTK标注POS

>>> import nltk
>>> text = nltk.word_tokenize('what does the fox say')
>>> text
['what', 'does', 'the', 'fox', 'say']
>>> nltk.pos_tag(text)
[('what', 'WDT'), ('does', 'VBZ'), ('the', 'DT'), ('fox', 'NNS'), ('say', 'VBP')]

NLTK去除stopwords
首先下载词库 nltk.download(‘stopwords’)

from nltk.corpus import stopwords
# 先token⼀把，得到⼀个word_list
# 然后filter⼀把
filtered_words = 
[word for word in word_list if word not in stopwords.words('english')]

4、简单应用
情感分析
配上ML的情感分析

文本相似度
元素频率表达本特征

# 借⽤NLTK的FreqDist统计⼀下⽂字出现的频率
fdist = FreqDist(tokens)
# 最常用的50个单词拿出来
standard_freq_vector = fdist.most_common(50)
# Func: 按照出现频率⼤⼩, 记录下每⼀个单词的位置
def position_lookup(v):
    res = {}
    counter = 0
    for word in v:
        res[word[0]] = counter
        counter += 1
    return res
# 把标准的单词位置记录下来
standard_position_dict = position_lookup(standard_freq_vector)
print(standard_position_dict)
# 得到⼀个位置对照表
# {'is': 0, 'the': 3, 'day': 4, 'this': 1,
# 'sentence': 5, 'my': 2, 'life': 6}

文本分类
TF: Term Frequency, 衡量⼀个term在⽂档中出现得有多频繁。
TF(t) = (t出现在⽂档中的次数) / (⽂档中的term总数).
IDF: Inverse Document Frequency, 衡量term有多重要。
把罕见的词的重要性（weight）高，
把常见词的重要性低。
IDF(t) = log_e(文档总数 / 含有t的文档总数).
TF-IDF = TF * IDF

from nltk.text import TextCollection
# 自动帮你断句, 做统计, 做计算
corpus = TextCollection(['this is sentence one', 
                        'this is sentence two', 
                        'this is sentence three'])
# 直接就能算出tfidf
# (term: 一句话中的某个term, text: 这句话)
print(corpus.tf_idf('this', 'this is sentence four'))
# 0.444342

# 对于每个新句⼦
new_sentence = 'this is sentence five'
# 遍历一遍所有的vocabulary中的词:
for word in standard_vocab:
    print(corpus.tf_idf(word, new_sentence))
    # 会得到(=所有vocab长度)的向量