AI让世界更懂你
计算机科学与技术专业博士,主要研究方向为人工智能、自然语言处理、大规模语言模型和对话系统等。曾与微软小冰、微软小娜共同工作。兴趣广泛,包括并不限于人工智能,心理学,认知科学,语言学,数学,天文学等。让我们一起和AI,改进世界!
展开
-
计算语言学之开篇随想
1、运算智能!感知智能。认知智能?人工智能的主要发展阶段有这么几个阶段: 1. 运算智能 所谓运算智能,也称为计算智能。也就是拥有快速计算和记忆存储能力。这一方面,计算机早就超过我们人类了。包括1996年的IBM的深蓝计算机战胜了当时的国际象棋冠军卡斯帕罗夫(传说迫于对于人工智能的恐惧,深蓝计算机比赛完成后就被拆解了。),2016年的AlphaGo风波席卷全球,在人类认为最不可能被战胜的“围棋”原创 2017-02-22 16:57:57 · 785 阅读 · 0 评论 -
计算语言学之绪论
0. 写在前面从这一讲开始,我们开始进行计算语言学的正式讲解。1. 自然语言处理?计算语言学?关于自然语言处理,有多种说法,可以说自然语言生成,自然语言理解,自然语言处理,中文信息处理以及计算语言学。但这些说法都是有区别的,例如,自然语言理解是偏向于人工智能方向说的,但是其实自然语言理解是自然语言处理的一部分,自然语言要处理,首先要能够理解,其次才是生成,这是一个输入,一个输出的完整过程。因此我个人原创 2017-03-03 22:35:53 · 1089 阅读 · 0 评论 -
计算语言学之预备知识
0.写在前面这一讲,我们主要是来复习一下我们将要用到的一些数学概念,这里主要包含3大部分,第一部分是概率论的相关知识,第二部分是信息论的相关知识,第三部分则是支持向量机的相关知识。我们这一讲,主要围绕这三个问题进行讲解。1.概率论相关知识1. 概率的定义概率论的第一个问题,就是什么是概率:概率是从随机试验中的事件到实数域的映射函数,用以表示事件发生的可能性。 准确来讲,我们个人是没有办法对一个事物原创 2017-03-08 21:37:21 · 1122 阅读 · 0 评论 -
计算语言学之形式语言与自动机
0. 写在前面计算语言学,这种偏向工科的文科名字,又该怎么定义语言呢?语言的形式有是什么样子?怎么才能形式化语言以使得计算呢?自动机是什么东西,和图灵机有关系么?说了这么多有什么用呢?这一个个疑问,我们将会在接下来的讲解中,为大家一一介绍。1. 语言谈到语言,想必是仁者见仁,智者见智。从社会学角度来说,是人类最重要的交际工具,是人们进行沟通交流的主要表达方式。人们借助语言保存和传递人类原创 2017-03-19 15:37:07 · 4748 阅读 · 4 评论 -
计算语言学之语料库
0. 写在前面我们自然语言处理和语言学方面的不同就在于,我们来源于大量的语料库统计资料。之前所看到的的语言学方面的篇章分析,大多都是基于几十篇的文章得出的结果,并不是太有说服力,仅仅是高频统计。所以,我们这一张来介绍一下语料库。1. 语料库的来源1.1 语料库的定义语料库就是存放语言材料的数据库。做机器学习,最重要的是语料,有了大量的训练样本,才能够学习到更加真实的模型。1.2 语料库语言学的发展语原创 2017-04-10 18:24:35 · 2450 阅读 · 0 评论 -
计算语言学之语言模型
0. 写在前面这一章我们介绍语言模型。不过要说的是,这里的语言模型基本上是基于字词的,但是其思想也是要掌握的,如果以后到句子、段落、篇章的时候,这些思想都是十分有用的。1. 语言模型语言模型(LM)在自然语言处理中占有重要地位,而且像n元语法模型是一个简单但是比较有效的模型。只能说比较有效,但是想要提高到非常高的地步,还需要继续改进才行。1.1 n元语法我们正常人的思维,肯定是这样想的,一句话的每个原创 2017-04-12 15:55:09 · 2708 阅读 · 0 评论 -
计算语言学之语言理解与认知(1)
1. 语言的发展语言作为贯穿整个人类文明发展的重要因素,一直以来都是人类研究的主要对象。在最近几个世纪,研究语言的方向主要集中在形式主义与功能主义上,对语言所代表的的意义还缺乏一定的认识。事实上,语言在很早以前可能就是形式与功能的结合体。例如1代表的就是1个的意思,十代表十个的意思。也就是说,形式与功能是一致的,这时候意义也就伴随着形式与功能的一致而唯一。但是,语言是不断发展的,因此出现了同形式不同原创 2017-04-23 10:28:05 · 1273 阅读 · 0 评论 -
计算语言学之汉语分词
1. 汉语分词定义世界上语言种类我们之前提过,像英语一样的屈折语在词与词之间是使用空格隔开的,像日语这种黏着语和汉语这种孤立语,则并没有使用空格隔开,这也意味着,汉语和日语这种更需要在语义上理解其句子的含义,而结构也是依赖于意义而产生的。简单来讲,汉语分词就是把汉语像英语一样,词与词之间用空格间隔。而这工作需要使用计算机来自动完成。这虽然看似简单的一个任务,却耗费了中国近20年的时间,至今没有达到理原创 2017-05-01 10:51:31 · 1372 阅读 · 0 评论 -
计算语言学之语法理论
语法理论主要介绍关于语法的相关理论,具体的,主要要介绍一下功能合一文法以及合一运算和代真过程。并对其他语法再做简要介绍。1. 语法理论起源20世纪50年代乔姆斯基提出4类形式文法(之前讲过)后,他又在20世纪80年代时,提出了管辖与约束理论。后来研究者又提出了词汇功能语法、广义结构语法、树连接语法以及链语法等。语法理论主要是为了描写自然语言的结构与语义两个方面,另外,也是想揭示人类语言的共性和人类思原创 2017-05-13 17:09:43 · 1931 阅读 · 0 评论 -
计算语言学之句法理论(1)
在这一章中,我们主要介绍的内容有句法理论,基于CFG的线图分析法和CYK算法,以及PCFG算法,并对短语结构标准进行相关介绍。1. 句法理论从刚开始的以单词为核心的词法理论,再到现在的句法理论以及后面讲的语义和篇章,自然语言处理的对象逐渐变大,而且越来越难以处理。准确来讲,目前尚且称为合格的,可以成熟的用作商业上的层次,大概也就在句法这一级别,再高的层次上,其普适应用还尚未形成。句法分析的任务就是识原创 2017-05-14 21:47:01 · 2912 阅读 · 0 评论 -
计算语言学之自信息与互信息在新词发现、短语识别中的应用
1. 引言在计算语言学预备知识中,我们介绍了熵(自信息)与互信息;条件熵与联合熵;相对熵与交叉熵。这里我们要说明的是关于其在自然语言中的具体应用。2. 熵(自信息)与互信息现在我们先来复习以下熵及互信息的公式定义:熵(自信息):H(P)=−∑x∈Rp(x)log2p(x)H(P)=-\displaystyle\sum_{x∈R}p(x)log_2p(x) 所谓的自信息,就是指描述一个随机变量自身的原创 2017-06-05 22:23:31 · 3363 阅读 · 0 评论 -
计算语言学之条件熵与联合熵、相对熵与交叉熵的应用
1. 引言条件熵与联合熵我们在之前已经讲过,大家可以类比一下条件概率和联合概率,就大概知道是什么意思了。不过这里我们还是复习一下条件熵与联合熵的公式。2. 条件熵与联合熵的应用条件熵:在给定X的情况下,Y的条件熵定义为: H(Y|X)=−∑x∈Xp(x)H(Y|X=x)=∑x∈X∑y∈Yp(x,y)log2p(y|x)H(Y|X)=-\displaystyle\sum_{x∈X}p(x)H(Y|X原创 2017-06-06 21:36:28 · 2382 阅读 · 1 评论 -
计算语言学之拼写纠错
1. 引言拼写检查是一个非常底层的自然语言处理方面的任务。多用在信息检索、输入法等,其实也可以扩展到寻找同义词等相关领域。这里我们主要针对英文、中文中的拼写检查的方法,进行一个简要的概述,因为这方面是一个很热门的研究方向,所以材料很多,我们只是进行入门介绍。2. 英文拼写纠错无论是英文拼写纠错还是中文拼写纠错,都需要两部分,一个是发现错误,一个是纠正错误。这里我们提供2种匹配方法。2.1 基于字典的原创 2017-06-10 16:27:22 · 5566 阅读 · 2 评论 -
计算语言学之隐马尔可夫模型
1 引言隐马尔可夫模型到现在我才敢写是因为到现在才明白一点。如果有写的不对的地方还请指正。2 隐马尔可夫模型概要2.1 介绍隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。事实上,隐马尔可夫模型是一个比较巧妙的模型,它在形式上是一个概原创 2017-06-18 22:19:44 · 986 阅读 · 0 评论 -
2019斯坦福CS224n深度学习自然语言处理笔记(1)——绪论与Word2Vec
本文内容整理自2019年斯坦福CS224n深度学习自然语言处理课程,其笔记为本人听课心得,重点在于对于知识内容的思考,并非课程原文笔记,应称为课后笔记。1.绪论在本堂课中,其基础技能需要懂得并应用:Ipython,numpy和Pytorch。其他的关于自然语言处理和深度学习,上了这堂课,你就会了解。1.1 语言的来源语言,语言是传递信息的声音和文字,是人类沟通的主要方式(其他方式包括图像、...原创 2019-04-04 13:15:57 · 1942 阅读 · 2 评论 -
2019斯坦福CS224n深度学习自然语言处理笔记(2)——词向量与Glove
继续上一节的内容。还是沿着之前的思路,首先想到为什么不直接使用词共现矩阵,然后提出SVD的解决方法。在比较了基于统计和直接预测两种方法后,提出Glove模型。接着对于词向量的评估方法和一词多义问题提出相应的解决方法。1. 为什么不直接使用词共现矩阵获得词向量?在上一节中,最后提出一个问题,为什么不直接使用词共现矩阵获得词向量?1.1 词共现矩阵方法(窗口统计和全局统计)其方法有2种,第一种...原创 2019-04-08 10:43:06 · 819 阅读 · 0 评论 -
2019斯坦福CS224n深度学习自然语言处理笔记(3)——分类模型与神经网络
前两章算是引言,主要介绍了什么是自然语言处理,以及自然语言处理中最基础的工作——如果和表示词的意思的相关工作。接下来,主要介绍一下分类模型和神经网络,并以命名实体识别和词窗口分类举例说明。最后简要介绍一下矩阵运算。1. 什么是分类?为了给没有基础的同学介绍一下背景,这里首先简要介绍一下分类。所谓的分类就是给定输入X,通过分类模型后,获得输出y,其中y是一个离散的值(可能有2个值,也可能有10个...原创 2019-04-11 17:15:41 · 826 阅读 · 0 评论 -
2019斯坦福CS224n深度学习自然语言处理笔记(4)——反向传播与计算图
矩阵梯度下降及一些小贴士计算图模型与反向传播其他一些你应当知道的内容正则防止过拟合向量化非线性初始化优化学习率1. 矩阵梯度下降及一些小贴士1.1 梯度下降还是上节课的梯度下降,我们首先回顾一下:∂s∂W=δ∂z∂w=δ∂∂wWx+b\frac{\partial s}{\partial \bold W}=\delta\frac{\partial \bold z}{...原创 2019-04-17 16:38:57 · 1730 阅读 · 0 评论 -
2019斯坦福CS224n深度学习自然语言处理笔记(5)——句法分析
本文主要讲解如何进行句法分析,也就是如何进行解句子的结构与语义。原创 2019-06-12 12:00:12 · 1303 阅读 · 0 评论 -
事理图谱之初见
由于研究方向问题,终于接触到这个融合了事件抽取和知识图谱的新领域——事理图谱。事理图谱论文应该在2017年初就已经提出。在2017年CNCC大会上,刘挺教授的演讲才让事理图谱走进大众视野。本章主要是一个背景知识介绍,所有内容均在2019年之前。下一章我们将会在讲习班过后进行补充今年以来的最新进展。要说事理图谱,就要说事件抽取和知识图谱。首先我们介绍事件抽取。事件抽取一直是信息抽取中较为热门的...原创 2019-07-18 14:49:54 · 1469 阅读 · 0 评论 -
再议事理图谱(首届事理图谱研讨会参后感)
0. 前言在上一章中,我们主要讲述了一些关于事理图谱的引言以及背景介绍。在这一章中,我们主要根据首届事理图谱研讨会的内容,对于事理图谱有一个更深的概念认识,对于具体的模型细节,更希望去论文中寻找答案。这次我们还是从数据、信息和知识开始讲起。数据,信息和知识,这是组成我们文明世界的三个层次。在SECI模型(野中郁次郎和竹内广孝,1991)也对此作了一些相关阐述。就我而言,数据是最底层,可以说所...原创 2019-08-07 20:03:31 · 1274 阅读 · 0 评论