文章目录导读

深度学习基础——附Theano实现代码 入门 1、快速入门 http://blog.csdn.net/wangli0519/article/details/72810716 有监督学习 Supervised Learning 2、逻辑回归 Logistic Regression http://bl...

2017-06-25 10:47:54

阅读数 623

评论数 0

用Python定义卷积网络

学习内容:numpy 卷积函数,包括零填充、卷积窗口、前向卷积、反向卷积;池化函数,包括前向池化、mask、分配直,反向池化。对比 tensorflow 定义函数:def zero_pad(X, pad):    X_pad = np.pad(X, ((0, 0), (pad, pad), (pa...

2017-12-03 21:10:34

阅读数 543

评论数 0

用Python进行神经网络初始化、正则、优化

初始化:def model(...initilalization = 'he'):if intitialization == 'he':parameters = initialize_parameters_he(layers_dims)-------------------------------...

2017-12-01 16:39:21

阅读数 520

评论数 0

用Python构建深度神经网络

学习目标:使用ReLU等非线性单元提升模型性能,构建深度神经网络,执行便于使用的神经网络类需要定义的函数:def initialize_parameters_deep(layer_dims): #layer_dims是包含每层隐藏单元数量的arraynp.random.seed(1)paramet...

2017-11-30 19:25:53

阅读数 707

评论数 0

用Python定义单层神经网络

学习目标:使用单隐藏层神经网络进行分类,使用非线性激活函数, 计算交叉熵,执行前向和反向传播使用的库:numpy, matplotlib.pyplot, sklearn, sklearn.linear_model设置随机种子以保持结果一致性:np.random.seed(1)使用sklearn进行...

2017-11-30 11:21:37

阅读数 724

评论数 0

用Python进行神经网络逻辑回归

学习内容:使用神经网络进行逻辑回归,学习算法的总体框架,包括初始化参数、计算成本函数和梯度、使用优化算法(梯度下降)使用到的包:numpy, matplotlib.pyplot, h5py, scipy, PIL.Image, scipy.ndimage, (lr_utils.load_datas...

2017-11-29 20:37:09

阅读数 500

评论数 0

深度学习笔记 —— SVM 支持向量机

支持向量机Support Vector Machine (SVM)是有监督学习中最有影响的方法之一。SVM与逻辑回归Logistic Regression相似, 都基于线性函数 wTx+bw^Tx+b 。SVM的关键创新在与kernel trick, 采用样本点乘的形式我们可以将SVM使用的线性函...

2017-10-25 14:35:31

阅读数 2561

评论数 0

NLP深度学习 —— CS224学习笔记12

1.2 语法松绑SU-RNN 不同类别输入的最优W不同。 对学习W的工作量加大,但性能提升。 现在模型受输入的语法类别条件约束。 我们决定类别的方法是通过一个简单的Probabilistic Context Free Grammar PCFG,通过计算Penn Tree Bank的...

2017-09-02 23:49:50

阅读数 571

评论数 0

NLP深度学习 —— CS 224学习笔记 11

关键词: RNN, 递归神经网络, MV-RNN, RNTN 1、递归神经网络 递归神经网络是循环神经网络的一个超集 使句子的输入向量规模相同,而不论句子的长度不同,这样我们可以输入任意长度的句子。 想象我们的任务是接收一个句子,然后将它体现成与词相同语义空间的一个向量。这样下面三个句...

2017-09-02 10:23:29

阅读数 792

评论数 0

NLP深度学习 —— CS224学习笔记10

2.3 深度双向RNN 到目前我们都是使用以前的词来预测后面的词。 双向深度神经网络是在每个时间点t,同时有2个隐藏层,一个从左往右传播,一个从右往左传播。 最后的分类结果有两个的结合产生。 方程式表达为 多层的深度结构为 2.4 应用:RNN翻译模型 我们讨论有RNN来替代传统翻译模...

2017-08-31 20:38:01

阅读数 711

评论数 0

NLP深度学习 —— CS224学习笔记9

2.1梯度爆炸或消失 计算RNN的误差,我们计算每一步的误差并累加 每一步的误差通过微分链法则进行 在[k, t]时间区间内对于所有隐藏层的计算 每个是h的雅各宾矩阵 结合上述表达,我们得到 beta_w和beta_h代表两个矩阵范式的上限值。每个t时间戳偏分梯度的的范式 两个矩阵的范...

2017-08-30 22:52:30

阅读数 419

评论数 0

NLP深度学习 —— CS224学习笔记8

关键词:语言模型,RNN,双向RNN,深度RNN,GRU,LSTM 1、语言模型 语言模型计算在一个特定序列中一组词出现的概率。一般由一个窗口内之前的n个词决定。 这个公式对于语言和翻译系统确定一个词序列是否是准确翻译尤其有用。 现有的语言翻译系统中,对每个词组/句子翻译,软件生成一些可替换词组...

2017-08-29 20:55:11

阅读数 569

评论数 0

NLP深度学习 —— CS224学习笔记7

2、神经网络技巧和贴士 2.1 梯度检查 我们讨论了用微分来计算神经网络模型中参数的误差梯度,这里讨论另一种近似技巧,不需要误差反向 传播。 其中 这种方法计算成本极其高,要使用两次前向传播,但是一种验证反向传播的好方法。 一个简单的梯度检查可以用以下方法实现 2.2 正则 我们使用L2正则...

2017-08-28 21:46:28

阅读数 790

评论数 0

NLP深度学习 —— CS224学习笔记6

关键词:神经网络、前向计算、反向传播、神经单元、最大边际损失、梯度检查,Xavier参数初始化,学习速率,Adagrad 1 神经网络基础 神经网络是具有非线性决策边缘的分类器族群。 1.1 神经元 神经元是接受n个输入并生成单一输出的通用计算单元。 影响输出结果的是神经元的参数,也叫权重。 常...

2017-08-27 18:35:01

阅读数 1444

评论数 0

NLP深度学习 —— CS224学习笔记5

2、外在任务训练 1) 大部分NLP外在任务可以转化为分类任务。 例如句子情感分析,正面、负面或中性。 同样在命名实体识别(NER),给定语境和词,我们要把词进行归类。例如[Jim]_person bought 300 shares of [Acme Corp.]_organization...

2017-08-24 20:48:19

阅读数 462

评论数 0

NLP深度学习 —— CS224学习笔记4

关键词:内在和外在评估,相似评估任务中超参数的影响,人类判断和词向量距离的相关性,用语境处理词歧义,窗口分类。 词向量和词嵌入交叉使用 1、词向量评估 我们讨论了例如Word2Vec和GloVe等方法,来训练和发现语义空间中自然语言词的隐含向量表征。 现在来定量评估这种技巧产生向量的质量。...

2017-08-23 21:07:49

阅读数 449

评论数 0

NLP深度学习 —— CS224学习笔记3

四、3、 Skip-Gram 模型 另一种方法是得到中间的词,然后由模型来预测或生成周边的词。这种模型被成为Skip-Gram模型。 设置与此前的CBOW大致相同,只是调换了x和y的顺序。 具体可以分解成6步: 1)生成one hot 向量 x 2)得到语境的嵌入词向量 3)将 4)生成2m得...

2017-08-22 21:11:12

阅读数 476

评论数 0

NLP深度学习 —— CS224学习笔记2

基于迭代的方法 相对于对数十亿的句子进行计算并储存其全局信息,我们尝试构建模型每次学习一个迭代来编码语境中词的概率。 我们对已知和未知的参数设置概率模型,每次训练一个样本,学习基于输入的未知参数的一部分信息,以及模型期望的输出。 每次运行模型,我们评估误差,遵循更新规则,并对引起误差的模型参数进行...

2017-08-21 21:09:31

阅读数 618

评论数 0

NLP深度学习 —— CS224学习笔记 1

关键词: 自然语言处理, 词向量, 奇异值分解, Skip-gram, 连续词袋(CBOW), 负抽样 一、简介 自然语言处理任务 简单: 拼写检查, 关键词搜索, 找同义词 中度: 从网页、文件解析信息 困难: 机器翻译, 语义解析, 指代, 问题回答 使用词向量可以把词编码成向量然后通过计算...

2017-08-20 16:02:05

阅读数 2475

评论数 0

循环神经网络中Dropout的应用

循环神经网络(RNNs)是基于序列的模型,对自然语言理解、语言生成、视频处理和其他许多任务至关重要。模型的输入是一个符号序列,在每个时间点一个简单的神经网络(RNN单元)应用于一个符号,以及此前时间点的网络输出。RNNs是强大的模型,在许多任务中表现出色,但会快速过拟合。RNN模型中缺少正则化使他...

2017-07-16 17:08:23

阅读数 3850

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭