自然语言处理入门

自然语言处理入门

自然语言处理简介

• 什么是自然语言处理

  • 是计算机来处理、理解运用人类语言

  • 是计算机和语言学的交叉学科，又被称为计算机语言学

• 自然语言处理包括什么

  • 句法分析

  • 语义分析

  • 篇章理解

  • …

• 研发和算法(读博)

• 起源

  • 起源与美国，1966年，经过10年的研究，未达到预期

• 发展

  • 20世纪80年代–计算机能力提高–统计学习模型

    • 研究发现，通过对大量文本数据的自动学习和统计，能够更好地解决自然语言的处理问题，比如语言的自动翻译，这一思想被称为自然语言处理的统计学模型—宗成庆–>统计自然语言处理

  • 21世纪–GPU–深度学习模型

    • 深度学习网络本质上属于传统的统计学习模型，只不过换了一套神经网络建模的方法，深度学习模型利用了强大的计算资源以及数据的建模能力，实现对语言的理解。深度学习模型是否能真正的理解语言存在疑问，因为虽然在某些方面表现不错，但实际上缺乏对自然语言的理解能力

• 自然语言处理的困难

  • 消除歧义

    • 语言中充满了大量起义，主要体现在词法、句法及语义三个层次上

    • 自然语言所描述的对象–人类活动很复杂，语言的词汇和句法规则又是有限的，这造成了同一种语言可能有多种含义

自然语言处理的发展趋势

• 基于规则的理性主义
  • 人类语言主要是由语言规则来产生和描述的，因此只要能够用适当的形式将人类语言规则表示出来，就能够理解人类语言
  • 人类语言虽然有一定的规则，但是在真实使用中往往伴随大量的噪音和不规范性。理性主义方法的一大弱点就是鲁棒性差，只要与规则稍有偏离便无法处理
• 基于统计的经验主义
• 从语言数据中获取语言统计知识，有效建立语言的统计模型。因此只要能够有足够多的用于统计的语言数据，就能够理解人类语言
• 不能无限地获取语言数据进行统计学习，因此也不能够完美地理解人类语言

走近NLP学术界

• ACL
• EMNLP
• COLING-毕业或者找工作，推荐，难度没有EMNLP大
  14-15起始点 深度学习浪潮开始，引用次数倒叙 比如看30篇论文
  然后读最新的论文,按时间倒叙ACL，EMNLP,NAACAL,COLING
  论文 分为精度(引用量高的)，因为有优点，要吸收；泛读 每天关心 Goole Scholar搜关键词看有没有新的文章出来
• Goole Scholar怎么搜
  按作者比较厉害的如刘知远
  会议或期刊
  标题出现关键词：这个通常用

arXiv.org上发表的论文，想发表论文，可以先挂出来
相关国际会议每年发表的论文
相关国际顶级期刊
国内的顶尖高校课题组发表的学术研究报告，比如自然语言处理
科技媒体发表的，比如机器之心、AI科技评论

• 中国知网 cnki仅限于学位论文和相关综述，看看怎么写

• 如何阅读文献

• 题目（1）

• 摘要（2）

• 实验结果（3），如果不新颖，就结束，一般控制15分钟
  否则，看方法和相关工作，大概2个小时
  一般来说当在快速阅读时，大佬一天可以看10-15篇论文，包括精读和泛读，然后进行论文总结，总结哪些知识值得借鉴
  一般来说大佬觉得，合格的博士生或者硕士生，做科研的，一年至少保证300-500篇论文阅读量，再加上好的代码能力，一年一篇顶会没有太大问题。
  但这需要持续地投入

• 人工智能必学的课程
  数学基础课 微积分、离散数学、概率论、最优化方法， 再看国际机器学习会议（ICML）、国际神经信息处理系统会议（NIPS）不会有很有压力
  学科基础课 程序设计基础、数据结构导论、 人工智能导论、计算机基础、数字电路、系统控制等，比较重要的程序设计基础，数据结构
  机器学习(周志华)、计算机视觉和自然语言处理 知识表示、形式语言和自动机、计算机视觉和自然语言处理可以看斯坦福的课程，在慕课上
  专业选修课 概率图模型、强化学习、神经网络、深度学习

  transfer attention 赵军 知识图谱xx
  bert跑数据不用看源码，最好看一下
  tenserflow、pytorch比较好用

  大神带你学深度学习

• 先keras、后Tensorflow或者pytorch

• 数据分析–机器学习比较多

• 机器学习是基础