深度学习
文章平均质量分 95
littlely_ll
Strive for the best, and prepare for the worst.
展开
-
深度学习基础总结
深度学习基本技巧选择合适的损失函数 平方损失 交叉熵损失 … 小批量样本(mini-batch)首先打乱数据,然后选择合适的小批量样本,重复epoch次。例如样本量100, 小批量mini-batch样本为20,epoch为10。则先打乱这100个样本,顺序选取20个样本,更新一次参数,然后再选取下20个样本,再更新一次参数,直到把100个样本选取完,这样重复epoch(10原创 2017-11-21 20:57:24 · 1138 阅读 · 4 评论 -
神经网络自然语言模型的一般化结构形式
一个神经网络自然语言模型当然需要神经网络的结构层次,但是在进入神经网络之前,怎么把单词表示成要输入的词向量,这也是一个非常重要的问题。其实,神经网络语言模型主要分两大部分,第一,输入词向量的表示问题,第二,神经网络结构的选择问题。只要处理好这两方面的问题,剩下的就交给训练了,当然其中还有一些细节。本文所描述的是一个一般化的多层神经网络结构,首先要说明一些标记记号: 假设一个神经网络函数为fθ(⋅)原创 2018-01-01 17:28:25 · 689 阅读 · 0 评论 -
神经网络在文本分类中的应用
在自然语言的文本分类中,主要使用两类模型,一类是使用传统的机器学习模型,如朴素贝叶斯,最大熵,支持向量机等,第二类就是使用神经网络模型,包括CNN和RNN。传统的机器模型在分类前首先要做特征工程,例如把文本转换成词袋,并转化为TF-IDF矩阵,然后再做分类。而使用神经网络模型可以使它自己提取特征并进行文本分类,并能获得优于传统机器学习模型的能力。CNN模型的文本分类CNN原来是用于对图原创 2018-01-24 15:26:48 · 5875 阅读 · 0 评论 -
数据挖掘资源汇总
文献库Cornell University Library citeseerxNIPS Proceedings数据挖掘个人网站Jiawei HanZhi-Hua ZhouJian PeiShirin’s playgRound, 她的新网站Shirin’s playgRoundMohammed J. ZakiTREVOR HASTIEPhilip S. Yu...原创 2018-02-14 22:30:14 · 443 阅读 · 0 评论 -
RNN文本分类——从原始数据处理到预测类别标签
这两天做了一个小项目,是一个文因互联文本分类的竞赛题目,但已经过期了,只是使用它的数据做一下。本次使用的RNN+LSTM模型,最终训练的正确率为87%,不过每次训练正确率有些差别,并且还有很多可调参数没有调整,只是当一个练手的了。由于训练时间很长,完整的代码以及持久化的模型和字典在我的github上可以下载,当然也可以自己重新训练。 本文的RNN结构主要使用了finch的结构,并在此稍微做了修改...原创 2018-02-19 20:02:47 · 11850 阅读 · 1 评论 -
tensorflow常用RNN函数
tensorlfow常用RNN函数tf.nn.rnn_cell.BasicLSTMCell:__init__( num_units, forget_bias=1.0, state_is_tuple=True, activation=None, reuse=None, name=None ) num_units:in...原创 2018-03-23 18:53:17 · 2336 阅读 · 1 评论 -
深度学习在多标签分类中的应用
多类分类与多标签分类 多类分类(multi-class classification):有多个类别需要分类,但一个样本只属于一个类别 多标签分类(multi-label classificaton):每个样本有多个标签 区别: 对于多类分类,最后一层使用softmax函数进行预测,训练阶段使用categorical_crossentropy作为损失函数 对于多标签分...原创 2018-08-12 15:28:31 · 15149 阅读 · 4 评论