目前正在学习斯坦福大学的教学视频《Natural Language Processing》,记录下学习过程中的点滴,主要目的是为自己复习之用。本篇是引言部分,主要记录了NLP的现状以及其中的关键技术。
- 已解决:spam detection,POS tagging,Name Entity Recognition(NER)
- 在发展:Sentiment Analysis,Coreference Resolution(指代消解),Word sense disambiguation(WSD,词义消歧),Parsing,MT,Information Extraction,
- 尚困难:QA,Dialogue,Paragraphs,Summarize
- NLP关键技术:Viterbi,Naive Bays,Maxent classifier,N-gram model,statistical parsing,inverted index,tf-idf,vector model
总结:
- 在POS等已解决问题上可以直接用已有的结果;对于MT、信息检索等在发展的问题,主要看已有论文,了解目前的进度,也要提出自己的见解;有了一定的知识储备之后,着重解决尚困难的问题。
- 要了解NLP的几大关键技术,如Viterbi,Naive Bays等,多读几遍《数学之美》