NLP-P自然语言处理的计算模型(笔记)

本文探讨了人工智能的标志性任务——计算机国际象棋和机器翻译,聚焦于自然语言处理的挑战。自然语言系统被视为不适定问题,如分词歧义。文章比较了理性主义(有限规则+有限词汇)和经验主义(概率统计模型)的局限,并通过机器翻译的笑话展示了翻译的复杂性。解决之道可能在于混合模型,结合规则、统计和背景知识。关键词涵盖自然语言处理、语义分词、机器翻译、概率统计模型和语感表达。
摘要由CSDN通过智能技术生成
  1. 人工智能两大标志任务:计算机国际象棋和机器翻译

  2. 自然语言自动处理 归结为语言处理建模的问题

自然语言系统是一个不适定问题(例子)

对南京市长江大桥基于语义分词

南京市|长江大桥
南京|市长|江大桥

面对不适定问题,如何构建呢

解决思路:约束解集,限制输出为稳定解

  1. 分析模型:理性主义
    用有限的规则+有限的词汇 =有文法的句子
    问题:规则不全面,问题大到一定规模则难通过可拓展性的考验
  2. 概率统计模型:经验主义,数据驱动
    问题:建模没有考虑到语句次之间存在大量的依存关系 远距离上下文语义依存关系。计算模型不稳定,微弱因素影响巨大。但像标注有主谓宾之类的标注层次结构的数据少 。
    从数字到文字获取的不连续映射困难,数据量也需要很多吧?
  3. 混合模型 :关键问题在于语感、语境和背景知识的表达与应用
    文末附上一个机器翻译的笑话(可见)

The spirit is willing but the flesh is weak.(心有余而力不足)
翻译为俄文之后又翻译回中文
The Voltka is strong but the meat is rotten.(伏特加是浓的,肉却腐烂了)

文献出处:自然语言处理的计算模型 张钹 (清华大学计算机系,北京100084)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值