A11021103-CSDN博客

原创一些机器学习的问题

前天在复习机器学习的时候，遇到了一些问题，在此写个博客，以供自己日后查看：1. 什么是layer normalization如今深度学习面临的一个最大挑战就是训练时间太长以及硬件的计算能力有待提升，我们可以有很多种方法加速我们的模型的训练过程，例如购买一个Nvidia Tesla K80，或者购买一个谷歌研发的Tensor Process Unit，或者使用多个机器与显卡构建分布式平台，这

2017-12-30 22:02:07 789

转载 Written Memories: Understanding, Deriving and Extending the LSTM

R2RTWritten Memories: Understanding, Deriving and Extending the LSTMTue 26 July 2016When I was first introduced to Long Short-Term Memory networks (LSTMs), it was hard to look pa

2017-12-29 17:06:01 1427

转载从RNN到LSTM剖析

从RNN到LSTM剖析 (2017-10-23 09:05:32)转载▼标签： rnn lstm 原理剖析分类：机器学习 RNN是循环神经网络，主要处理和时序相关的网络。而LSTM是RNN的进化版本，解决了RNN中存在的梯度爆炸或者梯度消失的问题。

2017-12-21 15:53:09 3358

转载特征值分解和SVD分解

一、特征值与特征向量的几何意义1. 矩阵乘法在介绍特征值与特征向量的几何意义之前，先介绍矩阵乘法的几何意义。矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度的新向量。在这个变化过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某些向量只发生伸缩变换，不产生旋转效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。比如：，它对应的线性变

2017-12-18 18:19:57 4631

转载文本之特征选择

1.基本概念1.1 定义从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”。特征选择是从特征集T={t_1,…,t_s}中选择一个真子集T’={t_1,…,t_(s’ )},满足(s≪s’)。其中，s为原始特征集的大小，s^’为选择后的特征集大小。选择的准则是经特征选择后能有效提高文本准确率。选择没有改变原始特征空间的性质，只是从原始特征空间中选择了一部分重要的特征，组成

2017-12-17 18:18:31 1309

文本相似计算是进行文本聚类的基础，和传统结构化数值数据的聚类方法类似，文本聚类是通过计算文本之间"距离"来表示文本之间的相似度并产生聚类。文本相似度的常用计算方法有余弦定理和Jaccard系数。但是文本数据与普通的数值数据或类属数据不同，文本数据是一种半结构化数据，在进行文本挖掘之前必须要对文本数据源进行处理，如分词、向量化表示等，其目的就是使用量化的数值来表达这些半结构化的文本数据。使其适用于分

2017-12-17 17:55:09 1805 1

转载 Deep Learning实战之word2vec

Deep Learning实战之word2vec邓澍军、陆光明、夏龙前言：Deep Learning已经很火了，本文作者算是后知后觉者，主要原因是作者的目前工作是广告点击率预测，而之前听说Deep Learning最大的突破还是在图像语音领域，而在NLP和在线广告点击预测方面的突破还不够大。但后来听说Google开源的word2vec还挺有意思，能够

2017-12-16 01:22:35 1286

转载 [NLP] 秒懂词向量Word2vec的本质穆文

自然语言处理中的词向量首发于数据挖掘机养成记写文章登录[NLP] 秒懂词向量Word2vec的本质穆文8 个月前转自我的公众号: 『数据挖掘机养成记』1. 引子大家好我叫数据挖掘机皇家布鲁斯特大学肄业我喝最烈的果粒橙，钻最深的牛角尖——执着如我

2017-12-15 23:36:21 4611

A11021103的博客