NLP之语言处理与Python（2）

1.4回到python：决策与控制

控制：程序设计的一个关键特征是让机器能够按照我们的医院决策，在遇到特定条件时执行特定命令，或者对文本数据源从头到尾不断循环指导条件满足。这一特征被称为控制。

from nltk.book import*

关系运算

print(sent7)
print([w for w in sent7 if len(w)>7])
print([w for w in sent7 if len(w)>=7])
print([w for w in sent7 if len(w)!=7])
print([w for w in sent7 if len(w) == 7])

词汇比较运算

print(sorted([w for w in set(text1) if w.endswith('ableness')]))
print(sorted([n for n in set(text4) if 'gnt' in n]))
print(sorted([m for m in set(text6) if m.istitle()]))
print(sorted([x for x in set(text7) if x.isdigit()]))

对每个元素进行操作

print(len(text1)) #text1的长度
print(len(set(text1))) #去重后的text1的长度
print(len(set([word.lower() for word in text1]))) #在text1中小写字母单词的长度
print(len(set([word.lower() for word in text1 if word.isalpha()]))) #没有大小写区分和忽略标点符号的词汇表的长度

嵌套代码块
if语句被看做是控制结构，for循环也是控制结构。
所有python控制结构都以冒号结尾

word = 'cat'
if len(word) < 5:
    print('word length is less than')

if len(word) >= 5:
    print('word length is greater than or equal to 5')

for word in ['call','me','ishmael','·']:
    print(word)

sent1 = ['call','me','ishmael','·']
for i in sent1:
    if i.endswith('l'):
        print(i)

for token in sent1:
    if token.islower():
        print('token is a lowercase word')
    elif token.istitle():
        print('token is a titlecase word')
    else:
        print('token is punctuation')

tricky = sorted([w for w in set(text2) if 'cie' in w or 'cei' in w])
for word in tricky:
    print(word)

1.5自动理解自然语言

语言理解技术
①词意消歧
自动消歧需要使用上下文，利用相邻词汇的相近含义

②指代消解
解决“谁对谁做了什么”,即检测动词的主语和宾语

a. The thieves stole the paintings.They were subsequently sold.
涉及到寻找代词they的先行词thieves或者paintings。处理这个问题的计算技术包括指代消解–确定代词或名词短语指的是什么—和语义角色标注—确定名词短语如何与动词相关联（如代理、受事、工具等）

③自动生成语言
如果能够自动的解决语言理解等问你题，我们将能够继续进行那些包含自动生成语言的任务，如自动问答和机器翻译。

弄清楚词的含义、动作的主语及代词的先行词是确定句子含义的步骤，也是希望语言理解系统能够做到的事情

④机器翻译

⑤人机对话系统

对话系统展示了一般的NLP流程