自然语言处理
江西师范大学-20届-吴悠
江西师范大学20届软件学院毕业生,大数据方向,大数据技术、机器学习、深度学习、爬虫、Django、区块链、ACM、PS修图、Pr视频剪辑、摄影都搞。爱好旅游、摄影、跑步、读书。
展开
-
运用Keras框架对图书评论进行情感分析
写完毕业论文很久了,现在开始来写这篇博客我的本科毕业论文是《融合图书评论情感分析、图书评分和用户评分的图书推荐系统》其中一部分就运用到了自然语言处理中的情感分析,我用的是深度学习的方法解决,用的深度学习的Keras框架语料数据来源于公开的ChineseNlpCorpus的数据集online_shopping_10_cats,截取其中的图书评论数据作为后面长短记忆神经网络的训练集。项目地址:https://github.com/liuhuanyong/ChineseNLPCorpus1、情感分析的语料原创 2020-06-05 09:55:49 · 767 阅读 · 1 评论 -
自然语言处理的基础知识
自然语言处理的定义美国计算机科学家马纳瑞斯(Bill Manaris)在《从人-机交互的角度看自然语言处理》一文中给自然语言处理提出的如下定义:自然语言处理(natural language processing, NLP)可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力(linguistic competence)和语言应用(lingui...原创 2019-08-05 19:36:31 · 1125 阅读 · 1 评论 -
形式语言和自动机
字符串连接次方幂闭包运算形式语法的类型正则文法上下文无关文法上下文有关文法无约束文法原创 2019-08-19 19:50:51 · 177 阅读 · 0 评论 -
自动机在自然语言处理中的应用
单词拼写检查K.Oflazer曾将有限自动机用于英语单词的拼写检查[Oflazer,1996]。在该方法中,两个相似字符串之间的编辑距离采用Damerau给出的定义,即两个字符串之间的编辑距离等于使一个字符串变成另外一个字符串而进行的插入、删除、替换或相邻字符交换位置而进行操作的最少次数[Damerau,1964]。例如:单词形态分析词性消歧...原创 2019-08-20 19:31:12 · 591 阅读 · 0 评论 -
语料库与语言知识库
语料库技术语料库(corpus base)就是存放语言材料的数据库。那么,顾名思义,语料库语言学(corpus linguistics)就是基于语料库进行语言学研究的一门学问。具体一点讲,语料库语言学是研究自然语言机读文本(或称“电子文本”)的采集、存储、标注、检索、统计等方法的一门学问,其目的是通过对客观存在的大规模真实文本中的语言事实进行定量分析,为语言学研究或自然语言处理系统开发提供支持...原创 2019-08-22 20:50:31 · 1673 阅读 · 0 评论 -
语言模型及n元语法
语言模型(language model, LM)在自然语言处理中占有重要的地位,尤其在基于统计模型的语音识别、机器翻译、汉语自动分词和句法分析等相关研究中得到了广泛应用。目前主要采用的是n元语法模型(n-gram model),这种模型构建简单、直接,但同时也因为数据缺乏而必须采取平滑(smoothing)算法。...原创 2019-08-26 20:17:36 · 386 阅读 · 0 评论 -
语言模型性能评价
原创 2019-08-27 19:38:19 · 215 阅读 · 0 评论