- 博客(10)
- 收藏
- 关注
RSS订阅原创 task 10 BERT
Attention模型1、Scaled attention输入包括维度为dkdk的queries以及keys，还有维度为dvdv的values。计算query和所有keys的点乘，然后每个都除以dk−−√dk（这个操作就是所谓的Scaled），之后利用一个softmax函数来获取values的权重。实际操作中，attention函数是在一些列queries上同时进行的，将这些queries...
2019-03-21 10:31:25
283
原创 task9
Attention原理：基本思想：打破了传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制。通俗解释就是将encoder的么一个隐藏状态设定一个权重，根据权重的不同决定decoder输出更侧重于哪一个编码状态。实现方法：通过保留LSTM编码器对输入序列的中间输出结果，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。模型图：at...
2019-03-19 17:15:15
177
原创 循环神经网络
RNN：RNN（Recurrent Neural Network）循环神经网络，是一种基于序列的神经网络，不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。结构如图：RNN是一种可以预测未来（在某种程度上）的神经网络，可以用来分析时间序列数据（比如分析股价，预测买入点和卖出点）。在自动驾驶中，可以预测路线来避...
2019-03-17 20:38:21
319
原创 卷积神经网络
卷积的定义：在f(n)，g(n)连续的情况下，卷积的定义为：在f(n)，g(n)离散的情况下，卷积的定义为：一维卷积：1、图中的输入的数据维度为8，过滤器的维度为5。与二维卷积类似，卷积后输出的数据维度为8−5+1=4。2、如果过滤器数量仍为1，输入数据的channel数量变为16，即输入数据维度为8×16。这里channel的概念相当于自然语言处理中的embedd...
2019-03-15 20:17:20
679
原创 简单神经网络
one hot编码：又称独热编码，一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立寄存器，并且在任意时候，其中只有一位有效。one hot在特征提取上属于词袋模型（bag of words）。优点：1.解决了分类器不好处理离散数据的问题；2.在一定程度上也起了扩充特征的作用缺点：1、不考虑词与词之间的顺序2、假设词与词相互独立3、得到的...
2019-03-13 20:52:42
185
原创 神经网络基础
基本概念：输入层（Input layer），众多神经元（Neuron）接受大量非线形输入消息。输入的消息称为输入向量。输出层（Output layer），消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点（神经元）数目不定，但数目越多...
2019-03-12 21:34:37
1578
原创 传统机器学习
朴素贝叶斯原理：朴素贝叶斯是基于贝叶斯定理和特征条件独立假设分类方法。对于给定训练集，首先基于特征条件独立性的假设，学习输入/输出联合概率（计算出先验概率和条件概率，然后求出联合概率）。然后基于此模型，给定输入x，利用贝叶斯概率定理求出最大的后验概率作为输出y。假设我们有训练数据集如下：即有m个样本，每个样本有n个特征，特征输出有K个类型，定义为C1、C2、... CK。...
2019-03-09 19:54:12
392
原创 特征选择
一、TF-IDF 原理TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率) 是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。词频 (term...
2019-03-07 17:19:08
146
原创 Task2： 特征提取
基本概念：最大匹配法【Maximum Matching】MM最大匹配是指以词典为依据，取词典中最长单词的字数量作为截取词的起始匹配长度，将截取后的最大长度的词与词典中的词进行比对（为提升扫描效率，还可以根据字数多少设计多个字典，然后根据字数分别从不同字典中进行扫描匹配）， 直到还剩一个单字则终止，如果该单字无法切分，则作为未登录词处理（没有被收录在分词词表中但必须切分出来的词，包括各类专有...
2019-03-05 15:26:50
185
原创 Task1 数据集探索--tensorflow应用于影评文本分类
步骤：1、下载数据集2、探索数据：数据格式3、准备数据：将数据转换为可以馈送到神经网络中的数据4、构建模型：（1）要在模型中使用多少个层？（2）要针对每个层使用多少个隐藏单元？5、创建验证集6、训练模型7、评估模型8、创建准确率和损失随时间变化的图代码：import tensorflow as tffrom tensorflow import k...
2019-03-03 19:50:40
139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人