博客专栏  >  互联网   >  自然语言处理(计算语言学)概论

自然语言处理(计算语言学)概论

自然语言处理作为人工智能的一个重要发展方向,即有机遇也有挑战。本专栏则对自然语言处理的几个基本方向和基本问题,做了相应的探讨。

关注
3 已关注
14篇博文
  • 计算语言学之开篇随想

    1、运算智能!感知智能。认知智能?人工智能的主要发展阶段有这么几个阶段: 1. 运算智能 所谓运算智能,也称为计算智能。也就是拥有快速计算和记忆存储能力。这一方面,计算机早就超过我们人类了。包括1...

    2017-02-22 16:57
    242
  • 计算语言学之绪论

    0. 写在前面从这一讲开始,我们开始进行计算语言学的正式讲解。1. 自然语言处理?计算语言学?关于自然语言处理,有多种说法,可以说自然语言生成,自然语言理解,自然语言处理,中文信息处理以及计算语言学。...

    2017-03-03 22:35
    234
  • 计算语言学之预备知识

    0.写在前面这一讲,我们主要是来复习一下我们将要用到的一些数学概念,这里主要包含3大部分,第一部分是概率论的相关知识,第二部分是信息论的相关知识,第三部分则是支持向量机的相关知识。我们这一讲,主要围绕...

    2017-03-08 21:37
    304
  • 计算语言学之形式语言与自动机

    0. 写在前面 计算语言学,这种偏向工科的文科名字,又该怎么定义语言呢?语言的形式有是什么样子?怎么才能形式化语言以使得计算呢?自动机是什么东西,和图灵机有关系么?说了这么多有什么用呢?这一个个疑问...

    2017-03-19 15:37
    324
  • 计算语言学之语料库

    0. 写在前面我们自然语言处理和语言学方面的不同就在于,我们来源于大量的语料库统计资料。之前所看到的的语言学方面的篇章分析,大多都是基于几十篇的文章得出的结果,并不是太有说服力,仅仅是高频统计。所以,...

    2017-04-10 18:24
    160
  • 计算语言学之语言模型

    0. 写在前面这一章我们介绍语言模型。不过要说的是,这里的语言模型基本上是基于字词的,但是其思想也是要掌握的,如果以后到句子、段落、篇章的时候,这些思想都是十分有用的。1. 语言模型语言模型(LM)在...

    2017-04-12 15:55
    626
  • 计算语言学之语言理解与认知(1)

    1. 语言的发展语言作为贯穿整个人类文明发展的重要因素,一直以来都是人类研究的主要对象。在最近几个世纪,研究语言的方向主要集中在形式主义与功能主义上,对语言所代表的的意义还缺乏一定的认识。事实上,语言...

    2017-04-23 10:28
    285
  • 计算语言学之汉语分词

    1. 汉语分词定义世界上语言种类我们之前提过,像英语一样的屈折语在词与词之间是使用空格隔开的,像日语这种黏着语和汉语这种孤立语,则并没有使用空格隔开,这也意味着,汉语和日语这种更需要在语义上理解其句子...

    2017-05-01 10:51
    297
  • 计算语言学之语法理论

    语法理论主要介绍关于语法的相关理论,具体的,主要要介绍一下功能合一文法以及合一运算和代真过程。并对其他语法再做简要介绍。1. 语法理论起源20世纪50年代乔姆斯基提出4类形式文法(之前讲过)后,他又在...

    2017-05-13 17:09
    298
  • 计算语言学之句法理论(1)

    在这一章中,我们主要介绍的内容有句法理论,基于CFG的线图分析法和CYK算法,以及PCFG算法,并对短语结构标准进行相关介绍。1. 句法理论从刚开始的以单词为核心的词法理论,再到现在的句法理论以及后面...

    2017-05-14 21:47
    500
  • 计算语言学之自信息与互信息在新词发现、短语识别中的应用

    1. 引言在计算语言学预备知识中,我们介绍了熵(自信息)与互信息;条件熵与联合熵;相对熵与交叉熵。这里我们要说明的是关于其在自然语言中的具体应用。2. 熵(自信息)与互信息现在我们先来复习以下熵及互信...

    2017-06-05 22:23
    203
  • 计算语言学之条件熵与联合熵、相对熵与交叉熵的应用

    1. 引言条件熵与联合熵我们在之前已经讲过,大家可以类比一下条件概率和联合概率,就大概知道是什么意思了。不过这里我们还是复习一下条件熵与联合熵的公式。2. 条件熵与联合熵的应用条件熵:在给定X的情况下...

    2017-06-06 21:36
    400
  • 计算语言学之拼写纠错

    1. 引言拼写检查是一个非常底层的自然语言处理方面的任务。多用在信息检索、输入法等,其实也可以扩展到寻找同义词等相关领域。这里我们主要针对英文、中文中的拼写检查的方法,进行一个简要的概述,因为这方面是...

    2017-06-10 16:27
    357
  • 计算语言学之隐马尔可夫模型

    1 引言隐马尔可夫模型到现在我才敢写是因为到现在才明白一点。如果有写的不对的地方还请指正。2 隐马尔可夫模型概要2.1 介绍隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,...

    2017-06-18 22:19
    101
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部