自然语言处理入门
自然语言处理简介
-
什么是自然语言处理
-
是计算机来处理、理解运用人类语言
-
是计算机和语言学的交叉学科,又被称为计算机语言学
-
-
自然语言处理包括什么
-
句法分析
-
语义分析
-
篇章理解
-
…
-
-
研发和算法(读博)
-
起源
- 起源与美国,1966年,经过10年的研究,未达到预期
-
发展
-
20世纪80年代–计算机能力提高–统计学习模型
- 研究发现,通过对大量文本数据的自动学习和统计,能够更好地解决自然语言的处理问题,比如语言的自动翻译,这一思想被称为自然语言处理的统计学模型—宗成庆–>统计自然语言处理
-
21世纪–GPU–深度学习模型
- 深度学习网络本质上属于传统的统计学习模型,只不过换了一套神经网络建模的方法,深度学习模型利用了强大的计算资源以及数据的建模能力,实现对语言的理解。深度学习模型是否能真正的理解语言存在疑问,因为虽然在某些方面表现不错,但实际上缺乏对自然语言的理解能力
-
-
自然语言处理的困难
-
消除歧义
-
语言中充满了大量起义,主要体现在词法、句法及语义三个层次上
-
自然语言所描述的对象–人类活动很复杂,语言的词汇和句法规则又是有限的,这造成了同一种语言可能有多种含义
-
-
自然语言处理的发展趋势
- 基于规则的理性主义
- 人类语言主要是由语言规则来产生和描述的,因此只要能够用适当的形式将人类语言规则表示出来,就能够理解人类语言
- 人类语言虽然有一定的规则,但是在真实使用中往往伴随大量的噪音和不规范性。理性主义方法的一大弱点就是鲁棒性差,只要与规则稍有偏离便无法处理
- 基于统计的经验主义
- 从语言数据中获取语言统计知识,有效建立语言的统计模型。因此只要能够有足够多的用于统计的语言数据,就能够理解人类语言
- 不能无限地获取语言数据进行统计学习,因此也不能够完美地理解人类语言
走近NLP学术界
- ACL
- EMNLP
- COLING-毕业或者找工作,推荐,难度没有EMNLP大
14-15起始点 深度学习浪潮开始,引用次数倒叙 比如看30篇论文
然后读最新的论文,按时间倒叙ACL,EMNLP,NAACAL,COLING
论文 分为精度(引用量高的),因为有优点,要吸收;泛读 每天关心 Goole Scholar搜关键词看有没有新的文章出来 - Goole Scholar怎么搜
按作者比较厉害的如刘知远
会议或期刊
标题出现关键词:这个通常用
arXiv.org上发表的论文,想发表论文,可以先挂出来
相关国际会议每年发表的论文
相关国际顶级期刊
国内的顶尖高校课题组发表的学术研究报告,比如自然语言处理
科技媒体发表的,比如机器之心、AI科技评论
-
中国知网 cnki仅限于学位论文和相关综述,看看怎么写
-
如何阅读文献
-
题目(1)
-
摘要(2)
-
实验结果(3),如果不新颖,就结束,一般控制15分钟
否则,看方法和相关工作,大概2个小时
一般来说当在快速阅读时,大佬一天可以看10-15篇论文,包括精读和泛读,然后进行论文总结,总结哪些知识值得借鉴
一般来说大佬觉得,合格的博士生或者硕士生,做科研的,一年至少保证300-500篇论文阅读量,再加上好的代码能力,一年一篇顶会没有太大问题。
但这需要持续地投入 -
人工智能必学的课程
数学基础课 微积分、离散数学、概率论、最优化方法, 再看国际机器学习会议(ICML)、国际神经信息处理系统会议(NIPS)不会有很有压力
学科基础课 程序设计基础、数据结构导论、 人工智能导论、计算机基础、数字电路、系统控制等,比较重要的程序设计基础,数据结构
机器学习(周志华)、计算机视觉和自然语言处理 知识表示、形式语言和自动机、计算机视觉和自然语言处理可以看斯坦福的课程,在慕课上
专业选修课 概率图模型、强化学习、神经网络、深度学习transfer attention 赵军 知识图谱xx
bert跑数据不用看源码,最好看一下
tenserflow、pytorch比较好用大神带你学深度学习
-
先keras、后Tensorflow或者pytorch
-
数据分析–机器学习比较多
-
机器学习是基础