- 博客(21)
- 收藏
- 关注
RSS订阅原创 统计学习方法（六）支持向量机
6 支持向量机SVM是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机学习方法包含构建由简至繁的模型：线性可分支持向量机、线性支持向量机、非线性支持向量机。6.1 线性可分支持向量机与硬间隔最大化支持向量是训练数据集的样本点中与分离超平面距离最近的样本点的实例。决定分离超平面时只有支持向量起作用，...
2019-07-20 08:10:17
285
原创 统计学习方法（五）Logistic回归与最大熵模型
5 Logistic回归与最大熵模型5.1 logistic回归模型事件的几率是指该事件发生的概率与不发生的概率的比值。在 logistic回归模型中，输出Y的对数几率是输入X的线性函数。通过模型可将线性函数转换为概率，线性函数的值越接近正无穷，概率值越接近1，线性函数的值越接近负无穷，概率值越接近0。可以应用极大似然估计法估计模型参数，从而得到回归模型，得到w的估计。这样，问题就变成了...
2019-07-19 15:24:40
221
原创 统计学习方法第二版学习笔记（四）决策树
3 决策树可以认为是if-then规则的集合，具有可读性，分类速度快。学习时，根据损失函数最小化的原则建立决策树模型。决策树学习通常包括三个步骤：特征选择、决策树生成和决策树的修剪。3.1 决策树模型结点有两种类型：内部结点和叶节点，内部结点表示一个特征，叶节点表示一个类。用决策树分类，从根节点开始，对某一个特征进行测试，依据结果将实例分配到其子节点，每一个子节点对应着该特征的一个取值...
2019-07-19 08:24:04
139
原创 统计学习方法第二版学习笔记（二）K近邻算法
2 K近邻算法K近邻算法对于新的实例，根据K个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，K近邻算法不具有显示的学习过程。K值的选择，距离度量及分类决策规则是三个基本要素。2.1 K近邻算法内容给定一个数据集，对新的输入实例，在训练集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把输入实例分为这个类。K=1时是特殊情况，称为最邻近法。2.2 K值的选择...
2019-07-17 21:00:02
190
原创 统计学习方法第二版学习笔记（一）感知机
1 感知机感知机是二类分类的线性分类模型。感知机学习旨在求出将训练数据进行线性化分的分离超平面。1.1 感知机模型感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型。1.2 感知机学习策略线性可分数据集：存在某个超平面S能够将数据集的正负实例点完全正确地划分开。假设训练数据集是线性可分的，感知机学习的目标就是求得一个能够将训练集正负实例...
2019-07-17 17:21:42
230
原创 计算机语言学笔记（九）特征结构与合一运算
9 特征结构与合一运算上下文无关文法上下文无关文法为句法知识的形式化提供了一个有效的工具。同时，对于上下文无关文法，存在像Earley算法、广义LR算法等一系列有效的算法，进行句法分析。然而，利用上下文无关文法描写自然语言，不但可以生成自然语言中的合法句子，也可以产生大量自然语言中不合法的句子，存在所谓的过度生成问题。一致性问题：限定词和名词时间的单复数一致。主语和谓语在人称和数方面保...
2019-07-14 19:58:16
501
2
原创 计算机语言学笔记（八）基于上下文无关文法的句法分析
8 基于上下文无关文法的句法分析句法分析导引以词为单位的分析技术：词语切分、形态分析、词类标注。以句为单位的分析技术：句法分析。以篇为单位的分析技术：指代分析。句法分析关心句子的组成规律。句子成分分析句子是词的线性序列，但词和词之间结合的松紧程度并不一样。句子在构造上具有层次性，较小的成分还可以进一步组成较大的成分。不同性质的成分可以有不同的句法功能和分布，可以区分成不同的类型。...
2019-07-14 15:09:56
1475
1
原创 计算机语言学笔记（七）有限状态技术和形态分析
7 有限状态技术和形态分析7.1 形态分析简介形态学研究屈折语中词的构成规则。英语、德语等时屈折语。汉语是孤立语。日语是黏着语。词通常是语素组成，语素是语言中最小的意义单位。英语中的语素语素可以分成两大类：词干（提供词的主要意义）和词缀（提供词的附加意义，修改词干义或改变词的语法功能）语素构成词的方法：1.屈折变化：词干+词缀形成的词通常与原词干同属一类，常用来使词具备数、时态...
2019-07-14 09:22:31
515
原创 计算机语言学笔记（六）词类自动标注
6 词类自动标注6.1 汉语中词的分类汉语中词分类的依据主要是词的分布特征，或者说主要依据词的语法功能。词的语法功能主要指词在句法结构里所能占据的语法位置。（充当句法成分的能力和组合成短语的能力）名词通常表示事物的名称、动词通常表示动作和行为、形容词表示事物的性质和状态。实词和虚词：1.实词可以充当主语、谓语和宾语。虚词则不可以。2.实词有实在的意义，表示事物、动作、行为、变化、性质...
2019-07-13 19:47:28
506
原创 计算机语言学笔记（五）隐马尔科夫模型
4 隐马尔可夫模型4.1 模型一阶马尔科夫模型可以描述为一个二元组( S, A ) ，S是状态的集合，而A是所有状态转移概率组成的一个n行n列的矩阵，其中每一个元素aij为从状态i转移到状态j的概率 。在坛子与小球问题中，如果给定一个观察序列(不同颜色的小球序列)，不能直接确定状态转换序列(坛子的序列)，因为状态转移过程被隐藏起来了。所以这类随机过程被称为隐马尔科夫过程。隐马尔可夫过程是一...
2019-07-12 21:25:33
1040
原创 计算机语言学笔记（四）熵和语言模型评价
4 熵和语言模型评价4.1 熵变长编码：给小概率信息赋以较长的编码，给大概率消息赋以较短的编码。信息论中用熵描述随机变量平均信息量。H(X)≥0，等号表明确定场(无随机性)的熵最小。H(X)≤log|X|，等号表明等概场的熵最大。联合熵：条件熵：链式规则：H(X,Y) = H(X) + H(Y|X)信息量的大小随着消息长度的增加而增加，为了便于比较，一般使用熵率的概念，熵率一般...
2019-07-12 16:23:00
387
原创 计算机语言学笔记（三）N-gram和数据平滑
3 N-gram和数据平滑3.1 语言建模语言建模：对于一个服从某个未知概率分布P的语言L，根据给定的语言样本估计P的过程被称作语言建模。语言建模技术首先在语音识别研究中提出，后来陆续用到OCR、,手写体识别,机器翻译,信息检索等领域。在语音识别中，如果识别结果有多个，则可以根据语言模型计算每个识别结果的可能性，然后挑选一个可能性 较大的识别结果。对于给定句子s= w1w2w3…，使用链...
2019-07-12 15:38:38
1054
原创 计算机语言学笔记（二）现代汉语切分研究
2 现代汉语词语切分研究汉语自动切分：把字串自动转换为词串。英语中的切分更容易。2.1 为什么要进行汉语切分TTS或语音合成中，只有正确切词才能知道正确的发音，只有正确的切词，才能正确变音，只有正确切词，才能解决轻声问题。信息检索中，切分有助于提高信息检索的准确率。词语的计量分析中，可以进行词频统计。等等等等…汉语切词也是深层汉语分析的基础。2.2 基本方法最大匹配法：正向最大...
2019-07-10 19:07:04
602
原创 计算机语言学笔记（一）计算机语言学概论
1 计算机语言学概论计算机语言学：通过建立形式化的计算模型来分析、理解和处理自然语言的学科。自然语言处理为了解决歧义等问题，常采用下面的对策。交互式处理：人机互助进行处理。受限语言：限定处理文本的领域。受控语言：限定语言的词汇和句法，降低复杂度。1.1 计算机语言学研究方法研究方法：规则驱动的方法，数据驱动的方法和二者融合的方法。规则驱动的方法：语言学家对语言规律总结，形成规则知识...
2019-07-10 17:59:59
1383
翻译 读书笔记--神经网络与深度学习（六）网络优化与正则化
7 网络优化与正则化针对两个难点，优化问题（梯度消失和训练效率）和泛化问题（过拟合），7.1 网络优化7.1.1 网络优化的难点网络结构的多样性。高维变量的非凸优化：低维空间的非凸优化问题主要是存在一些局部最优点。基于梯度下降的优化方法会陷入局部最优点，因此低维空间非凸优化的主要难点是如何选择初始化参数和逃离局部最优点。深层神经网络的参数非常多，其参数学习是在非常高维空间中的非凸优化问题...
2019-07-10 10:31:58
555
1
翻译 读书笔记--神经网络与深度学习（五）循环神经网络
6 循环神经网络前馈网络难以处理时序数据，比如视频、语音、文本等。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。循环神经网络是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其它神经元的信息，也可以接受自身的信息。循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。循环神经网络的参数学习可以通过随时间反向传播算法来学习。随时间反...
2019-07-09 16:42:28
1825
翻译 读书笔记--神经网络与深度学习（四）卷积神经网络
5 卷积神经网络卷积神经网络CNN，是一种具有局部连接、权重共享等特性的深层前馈神经网络。目前，卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络，使用反向传播算法进行训练。卷积神经网络结构上的局部连接、权重共享和汇聚的特性，使得卷积神经网络具有一定程度上的平移、缩放和旋转不变性。和前馈神经网络相比，卷积神经网络的参数更少。卷积神经网络主要使用在图像分类、人脸识别、物体...
2019-07-09 11:47:50
1022
翻译 读书笔记--神经网络与深度学习（三）前馈神经网络
4 前馈神经网络从机器学习的角度看，神经网络一般可以看做是一个非线性模型。4.1 神经元净输入z 在经过一个非线性函数f(·)后，得到神经元的活性值（Activation）a，a = f(z), 其中非线性函数f(·)称为激活函数（Activation Function）。激活函数 激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质：连续并可导...
2019-07-09 08:54:15
1743
翻译 读书笔记--神经网络与深度学习（二）线性模型
3 线性模型线性模型：机器学习中应用最广泛的模型，指通过样本特征的线性组合来进行预测的模型。本章主要介绍四种不同的线性分类模型：logistic回归，softmax回归，感知器和支持向量机，这些模型区别主要在于使用了不同的损失函数。3.1 线性判别函数和决策边界一个线性分类器是由一个或多个线性的判别函数和非线性的决策函数组成。3.1.1 两类分类两类分类：类别标签y只有两种取值。我...
2019-07-08 20:47:57
840
翻译 读书笔记--神经网络与深度学习（一）绪论与机器学习概述
1 绪论1.1 人工智能图灵测试：一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的问答，如果在相当长的时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的。人工智能的主要领域大体分为：感知、学习、认知。1.2 神经网络感知器是最早的具有机器学习思想的神经网络，但是其学习方法无法扩展到多层。（不能解决异或等线性不可分问题）反向传播算法有效...
2019-07-08 17:37:47
305
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人