- 博客(15)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 一文详解LDA主题模型
【本文作者】达观数据 夏琦【作者简介】夏琦，达观数据NLP组实习生，就读于东南大学和 Monash University，自然语言处理方向二年级研究生，师从知识图谱专家漆桂林教授。曾获第五届“蓝桥杯”江苏省一等奖、国家二等奖。前言本篇博文将详细讲解LDA主题模型，从最底层数学推导的角度来详细讲解，只想了解LDA的读者，可以只看第一小节简介即可。PLSA和LDA非常相似，PLSA也是主题模型方面非常...
2018-05-24 20:34:08
4615
原创 matplotlib画折线图中文乱码解决
说到底，乱码的原因是因为没有安装中文字体导致的，所以首先要做的就是安装一个中文字体。报表中发现有中文乱码和中文字体不整齐（重叠）的情况，首先考虑的就是操作系统是否有中文字体，在CentOS 7中发现输入命令查看字体列表是提示命令无效： 如上图可以看出，不仅没有中文字体，连字体库都没有，那么接下来就记录一下在Linux CentOS 7中如何安装字体库以及中文字体。安装字体库在CentOS 4.x...
2018-05-23 14:33:43
2765
转载 Wordnet 与 Hownet 比较
近年来，随着计算机本身以及信息高速公路的飞速发展，人们开始更加重视语义的研究。各国都致力于可用于自然语言处理的大规模语义词典或大规模知识库的建设。例如：普林斯顿大学的英语Wordnet,微软的Mindnet，欧洲有基于Wordnet的Eurowordnet，日本的日语和英语的概念词典，韩国的Koreanwordnet，中国有以Wordnet为框架而研制的现代汉语概念词典――中文概念辞书（CCD）和...
2018-05-22 16:54:56
962
转载 常用激活函数比较
本文结构：什么是激活函数为什么要用都有什么sigmoid ，ReLU， softmax 的比较如何选择1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数...
2018-05-14 15:29:31
694
转载 RNN隐藏层的两种计算方法GRU和LSTM
本篇文章主要介绍两种RNN的隐藏层信息计算方法GRU（Gated Recurrent Units）和LSTM（Long-Short-Term-Memories），这两种隐藏层的计算方法通过引入门（Gate） 的机制来解决RNN的梯度消失问题，从而学习到长距离依赖。这里说的隐藏层计算方法指的是如何计算下个时刻的隐藏层信息，标准RNN中计算 方法是：而LSTM和GRU可以理解为计算ht的另一种方法。L...
2018-05-11 17:05:38
10874
3
转载 单向及双向循环神经网络及其tensorflow实现
前言循环神经网络得益于其记忆功能使其擅长处理序列方面的问题，它能提取序列之间的特征，进而对序列输出进行预测。比如我说“我肚子饿了，准备去xx”，那么根据前面的序列输入来预测“xx”很可能就是“吃饭”。单向循环神经网络所谓的单向循环神经网络其实就是常见的循环神经网络，可以看到t时刻、t-1时刻、t+1时刻，不同时刻输入对应不同的输出，而且上一时刻的隐含层会影响当前时刻的输出。这种结构就是单向循环神经...
2018-05-11 15:19:40
3349
转载 混淆矩阵及confusion_matrix函数的使用
1.混淆矩阵 混淆矩阵是机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型作出的分类判断两个标准进行汇总。这个名字来源于它可以非常容易的表明多个类别是否有混淆（也就是一个class被预测成另一个class）下图是混淆矩阵的一个例子 其中灰色部分是真实分类和预测分类结果相一致的，绿色部分是真实分类和预测分类不一致的，即分类错误的。2.confusion_m...
2018-05-11 09:44:26
37802
7
转载 余弦距离、欧氏距离和杰卡德（Jaccard）相似性度量的比较
1、余弦距离余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。向量，是多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角。余弦定理描述了三角形中任何一个夹角和三个边的关系。给定三角形的三条边，可以使用余弦定理求出三角形各个角的角度。假定三角形的三条边为a，...
2018-05-09 09:51:49
13575
2
转载 详解CNN五大经典模型:Lenet，Alexnet，Googlenet，VGG，DRL
关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。Lenet，1986年Alexnet，2012年GoogleNet，2014年VGG，2014年Deep Residual Learning，2015年Lenet就从Lenet说起，可以看下caffe中lenet的配置文件（1），可以试着理解每一层的大小，和...
2018-05-08 19:07:29
9702
1
转载 Encoder-Decoder模型和Attention模型
Encoder-Decoder模型及RNN的实现Encoder-Decoder（编码-解码）是深度学习中非常常见的一个模型框架，比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的；比如这两年比较热的image caption的应用，就是CNN-RNN的编码-解码框架；再比如神经网络机器翻译NMT模型，往往就是LSTM-LSTM的编码-解码框架。因此，准确的说，Encode...
2018-05-07 20:01:57
9026
1
转载 梯度下降和delta法则
梯度下降 利用感知器法则的要求是必须训练样本是线性可分的，当样例不满足这条件时，就不能再收敛，为了克服这个要求，引出了delta法则，它会收敛到目标概念的最佳近似！delta法则的关键思想是利用梯度下降（gradient descent）来搜索可能的权向量的假设空间，以找到最佳拟合训练样例的权向量。 简单的理解，就是训练一个无阈值的感知器，也就是一个线性单元。它的输出o如下： ...
2018-05-06 21:14:40
688
转载 梯度消失、梯度爆炸及其解决方法
前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中，梯度消失爆炸的解决方案主要包括以下几个部分。- 预训练加微调- 梯度剪切、权重正则（针对梯度爆炸）- 使用不同的激活函数- 使用bat...
2018-05-02 12:55:51
11381
转载 深度神经网络中的梯度丢失与梯度爆炸
神经网络的反向传播要理解梯度丢失（vanishing gradient）和梯度爆炸，首先需要理解神经网络的反向传播算法。一般来说，训练一个神经网络需要很多个迭代。在每个迭代中，都包含两个步骤。前馈（feed forward）：它指的是从神经网络的输入开始，根据每一层的权重和偏置，逐层计算输出，直到得到神经网络的最终输出。这个输出值可以是对图片的分类，也可以是对数据走势的预测等等。反向传播（back...
2018-05-02 12:47:19
1548
转载 循环神经网络（RNN）Recurrent Neural Networks
参考地址： https://zybuluo.com/hanbingtao/note/541458
2018-05-02 11:31:38
164
转载 深度神经网络（DNN）模型与前向传播算法
深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN的模型与前向传播算法做一个总结。1. 从感知机到神经网络 在感知机原理小结中，我们介绍过感知机的模型，它是一个有若干输入和一个输出的模型，如下图: 输出和输入之间学习到一个线性关系，得到中间输出结果：z=∑i=1mwixi+bz=∑i=...
2018-05-02 10:19:46
684
apache+php+mysql的嵌入式移植详细过程
2013-09-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人