- 博客(17)
- 收藏
- 关注
RSS订阅原创 Attention
目录match的输出match的输入attention扩展训练技巧权重正则化Scheduled samplingBeam searchObjective levelattention机制相比于普通的seq2seq最重要的区别在于引入了match块。match的输出match块的输出实际上是输入序列的权重，通过match块输出的变化，神经网络对于输入序列不同的位置的关注度发生变化，从而实现“attention”的效果。match的输入Match.
2020-07-05 00:15:13
293
原创 基于特征的文法
之前的章节，我们了解到了入了使用采用符号标记的规则来分析文本，在之前我们使用的都是单个简单标记，比如S、V、NP等等，他们不能够再分，内部不再具有其他内容。而这一章就是用特征属性来扩展标记，特征的加入，使文法的表达更加强大。比如动词可以增加是否及物、时态的属性。以下我们来展示基于特征的语法的几种应用。句法协议通过属性，我们可以指定动词和名词的单数/复数属性，在语句匹配生成中，我们...
2020-04-23 22:18:23
226
原创 文本分类
文本分类是一个很广泛的话题，可以是将词划分为不同时态，将人名分为男女，也可以是将整篇文章划分为不同主题。文本分类主要应用有监督分类技术，其结构如下图所示。以下介绍三种监督学习的方法：决策树参考：https://blog.csdn.net/Line2333/article/details/105143018朴素贝叶斯分类器朴素贝叶斯分类器原理十分简单，其核心主要是条...
2020-04-18 22:56:52
333
原创 从文本提取信息：分块、实体名称识别、关系提取
这一章开始，就主要开始分析句子的结构、意义等。这一章的内容主要负责一些初级部分，比如对句子进行NP分块，识别名称实体，进行关系的抽取。这里不按照主题进行讨论，而按照方法范式进行讨论。基于正则表达式的方法基于正则表达式的方式十分容易理解，它就是通过一系列的正则表达式规则来进行这些任务，确定输出。比如对于分块，有两种方式，第一种是正则表达式直接定义分块，第二种是先将整体作为一块，...
2020-04-18 22:54:57
747
原创 卷积神经网络
卷积神经网络在图像处理领域有较大的应用，其思想在于不断地在输入的各个部分进行信息提炼，从而产生最终的输出。预测模型卷积神经网路具有两种特别的结构，第一种是卷积层，第二种是池化层。前者是卷积神经网络区别于普通神经网络的组要特征，后者是简化计算的主要工具。卷积层卷积神经网络的作用在于从上层的局部提取信息，然后放入下一层，可见随着层数的提高，网络的长宽越来越小。实现这个功能的我...
2020-04-16 12:21:43
303
原创 强化学习
强化学习经常被用来进行游戏AI的开发，其模型在输入输出上具有一些特点预测模型强化模型的输入时一个状态，比如游戏中的占位等等，而输出则是在该在状态下最优的行动，二者之间具有一一对应的关系，但问题在于，对于一个游戏，关于最优解我们往往并不能得出统一的最优解标注，因此这与之前的监督分类具有明显的区别。因此我们需要通过游戏的结果来反过来调整行动选择，这是一种奖励机制。奖励机制强化学习...
2020-04-15 19:40:51
344
原创 自编码器
自编码机可以认为是一种无监督学习方式，它的神奇之处在于，通过自编码机，我们可以自动地从数据所有输入特征中，精炼特征。预测模型自编码机的精髓在于，它将同样的数据作为神经网络的两端，进行训练，使得原始数据能够经过神经网络进行编码，然后再解码，恢复到原来的模样。如下图结构所示：输入在最中间的一层获得编码。在大体上，损失模型和训练方法与普通神经网络类似。但是下面讲一些具体的自编码...
2020-04-14 11:38:56
253
原创 循环神经网络
特点：上一阶段（时间步）的输出作为输入进入当前时间步。预测模型循环神经网络由循环神经原组成，循环神经元一般有两个输入，一个是前阶段的信息，一个是当前阶段的信息。同时产生一个输出，可以作为下一阶段的输入。循环神经网络采用多种模型。左上：每个时间步有一个输入，同时产生一个输出右上：一串输入，最后产生一个输出。左下：一个输入，一串输出右下：编码-解码器。每一层的...
2020-04-14 11:08:56
396
原创 词性标注
词性标注是自然语言处理中比较基础的部分词性标注采用监督学习和词性相关的几种因素 形态学 句法 语义几种算法： 正则表达式标注器 基于（人为设定的）规则，比如ing结尾，标记为动词 查询标注器 类似unigram N-gram标注器 unigram：每个单词最可能的词性 bi...
2020-04-02 17:28:15
351
原创 神经网络
神经网络在近几年十分火热，它是一种非常强大的人工智能模型。预测方式从“神经网络”的名字就可以知道，它借鉴了生物学的知识，实际上人工神经网络借鉴了生物神经结构。神经网络可以视为一个满足拓扑排序的无环有向图，这张图可以按层铺开，最低的一层表示输入，入度为0，而最高的一层为输出，出度为0。两个神经元之间的边具有特定的权。除去输入神经元和输出神经元，图中每一个神经元都连接着上一层...
2020-04-01 16:38:39
829
原创 降维
//个人学习记录，如有错误请指正//大部分图片公式来源于《hand on machine learning with scikit-learn and tensorflow》//部分公式来源于互联网在机器学习中，我们通常需要处理大量的数据，当特征数量过多时，我们会遇到维度爆炸的问题。维度爆炸第一意味着数据量会非常多，数据会占用大量空间，第二数据过多还会造成训练时长过长，第三...
2020-03-30 16:15:16
538
原创 集成学习
//个人学习记录，如有错误请指正//大部分图片公式来源于《hand on machine learning with scikit-learn and tensorflow》//部分公式来源于互联网这一节，我们不研究任何新的单一模型，而在已有的模型上打开一个新的思路：我们如何能够将这些模型综合在一起，并且综合它们的长处，以提升预测能力。这便是这一节所要讲的集成学习方法。...
2020-03-28 22:04:33
172
原创 决策树
//个人学习记录，如有错误请指正//大部分图片公式来源于《hand on machine learning with scikit-learn and tensorflow》//部分公式来源于互联网决策树是一种偏向分类的技术，但是它同时也可以用来进行回归。预测函数我们都知道二叉树，那决策树实际上就与二叉树类似，我们的模型在形态上是一颗二叉树，树的每个内部节点都会根据...
2020-03-27 15:45:39
255
原创 支持向量机
支持向量机主要用于分类任务，从预测函数我们就能看出来：预测函数这里我们以二分类为例，可以看出，支持向量机的参数同样包括特征的权重和偏移量，这两个参数实际上在特征形成的空间中，形成了一个面，这个面将特征空间分为两半，也就是两个分类。而我们训练的目标就是让两个分类的数据离这两个面越远越好。因此支持向量机是一种最大间隔分类。同时，我们通常将分界面的两端的一定距离，视为一个没有实例的间隔...
2020-03-26 18:28:56
251
原创 线性回归模型
预测函数首先我们来看线性回归的预测模型，可见这种模型是比较简单的，它赋予每个特征一个权值，再增加一个偏置量，最终得到预测值。显然我们需要训练的目标就是一个偏置量和每个特征的权值。损失函数这里我们使用均方误差作为线性回归的损失函数，其主要的优势在于便于训练部分需要的计算。这里我们对比均方根误差，可以发现，就求偏导数而言，第一，均方根误差因为带有根号，可能并非处处可导，偏导...
2020-03-25 15:42:57
525
原创 机器学习模型的三个基本方面
人工智能技术的核心当然是模型的训练，有了模型我们才能进行预测应用。要了解机器学习模型，可以从一下几个方面入手：预测函数。从首先预测函数是一个从样本特征到预测值的函数，这个函数告诉了我们是如何预测的。首先函数的形态决定了模型的基本形态，比如线性回归的预测函数就是一次函数，而逻辑斯特回归就采用了逻辑斯特函数。而在这个函数中，又有各种参数，比如一元一次方程y=kx+b中的k决定了直线...
2020-03-23 18:08:16
1011
原创 机器学习笔记——性能指标
为了能够合理地评价机器学习模型的性能，我们需要一系列的性能指标，用来对模型进行评估。首先，性能指标因为预测值种类的不同而不同。一、单随机变量随机变量我们通常采用两种指标进行评估。第一种是均方根误差（root mean square error，RMSE）。形式上均方根误差比较接近于标准差，在正太分布中，我们知道标准差可以用于描述变量相对于均值的分布情况。同样均方根误...
2020-03-23 17:20:28
358
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人