haozepeng-CSDN博客

原创 Task10

1. Transformer原理Transformer的主体结构图：1.1 Transformer的编码器解码器模型分为编码器和解码器两个部分。编码器由6个相同的层堆叠在一起，每一层又有两个支层。第一个支层是一个多头的自注意机制，第二个支层是一个简单的全连接前馈网络。在两个支层外面都添加了一个residual的连接，然后进行了layer-nomalization的操作。模型所有的支层以...

2019-03-21 09:55:43 302

原创 Task9

一. Attention原理Attention的原理就是计算当前输入序列与输出向量的匹配程度，匹配度高也就是注意力集中点其相对的得分越高，其中Attention计算得到的匹配度权重，只限于当前序列对，不是像网络模型权重这样的整体权重。算法过程：1）encode对输入序列编码得到最后一个时间步的状态c，和每个时间步的输出h，其中c又作为decode的初始状态z0。2）对于每个时间步的输出h与...

2019-03-19 22:00:38 178

1 RNN在RNN中，神经元的输出可以在下一时刻直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输入外，还包括其自身在（m-1）时刻的输出。将RNN展开，我们得到如下图所示的关系：循环神经网络的这种结构非常适合处理前后有依赖关系的数据样本。由于这种链式的结构，循环神经网络与序列和列表紧密相连。因此，RNN适合处理基于时间的序列，例如：一段连续的语音，一段连续的手...

2019-03-17 13:11:26 876

原创 task7 卷积网络

1，卷积运算卷积运算是指从图像的左上角开始，开一个与模板同样大小的活动窗口，窗口图像与模板像元对应起来相乘再相加，并用计算结果代替窗口中心的像元亮度值。然后，活动窗口向右移动一列，并作同样的运算。以此类推，从左到右、从上到下，即可得到一幅新图像。1.1 二维卷积图中的输入的数据维度为14×14，过滤器大小为5×5，二者做卷积，输出的数据维度为10×10（14−5+1=10）。上述内容没有...

2019-03-15 10:54:22 270

原创简单神经网络

一.文本表示：从one-hot到word2vec1、词袋模型将所有词语装进一个袋子里，不考虑其词法和语序的问题，即每个词语都是独立的。Jane wants to go to Shenzhen.Bob wants to go to Shanghai.例如上面2个例句，就可以构成一个词袋，袋子里包括Jane、wants、to、go、Shenzhen、Bob、Shanghai。假设建立一个...

2019-03-13 22:05:00 157

原创神经基础

神经网络基础1. 前馈神经网络前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。研究从20世纪60年代开始，目前理论研究和实际应用达到了很高的水平。前馈神经网络结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本...

2019-03-12 21:10:19 317

原创传统机器学习

传统机器学习1 贝叶斯朴素贝叶斯的原理：基于朴素贝叶斯公式，比较出后验概率的最大值来进行分类，后验概率的计算是由先验概率与类条件概率的乘积得出，先验概率和类条件概率要通过训练数据集得出，即为朴素贝叶斯分类模型，将其保存为中间结果，测试文档进行分类时调用这个中间结果得出后验概率贝叶斯文本分类代码实现参考：https://blog.csdn.net/csqazwsxedc/article/d...

2019-03-09 22:04:41 482

原创特征选择

特征选择1. TF-IDF原理TF-IDF是Term Frequency - Inverse Document Frequency的缩写，即“词频-逆文本频率”。它由两部分组成，TF和IDF。TF即代表词频；IDF代表逆文本频率，反应了一个词在所有文本中出现的频率，如果一个词在很多的文本中出现，那么它的IDF值应该低，而反过来如果一个词在比较少的文本中出现，那么它的IDF值应该高。2. ...

2019-03-07 22:11:53 176

原创特征提取

特征提取一.分词1.正向最大匹配法分词目标：在词典中进行扫描，尽可能地选择与词典中最长单词匹配的词作为目标分词，然后进行下一次匹配。算法流程：a.扫描字典，测试读入的子串是否在字典中b.如果存在，则从输入中删除掉该子串，重新按照规则取子串，重复ac.如果不存在于字典中，则从右向左减少子串长度，重复a2.逆向最大匹配法分词目标：在词典中进行扫描，尽可能地选择与词典中最长单词匹配...

2019-03-05 22:02:49 249

原创深度学习实践-NLP task1 THUCN&IMDB&召回率、准确率、ROC曲线、AUC、PR曲线学习理解

深度学习实践-NLP task1 THUCN&amp;IMDB&amp;召回率、准确率、ROC曲线、AUC、PR曲线学习理解1、THUCNews数据集下载和探索1.1 THUCNews数据集下载及介绍1.2 预处理2、IMDB数据集下载和探索2.1 下载数据集2.2 探索数据3、召回率、准确率、ROC曲线、AUC、PR曲线导出与导入导出与导入导出与导入导出与导入1、THUCNews数据集下载和探...

2019-03-03 21:22:27 587

haozepeng的博客