null的专栏

1. 概述在循环神经网络RNN一文中提及到了循环神经网络RNN存在长距离依赖的问题，长短期记忆（Long Short-Term Memory，LSTM）网络便是为了解决RNN中存在的梯度爆炸的问题而提出。在LSTM网络中，主要依靠引入“门”机制来控制信息的传播。2. 算法原理2.1. LSTM的网络结构LSTM的网络结构如下所示（图片来自参考文献）：与循环神经网络RNN相比，LSTM的网络结构要复杂的多。在LSTM网络中，通过引入三个门来控制信息的传递，这三个门分别为遗忘门（forget ga

1. 概述循环神经网络（Recurrent Neural Networks, RNN）主要用于时序数据，最常见的时序数据如文章，视频等，ttt时刻的数据与t−1t-1t−1时刻的数据存在内在的联系。RNN模型能够对这样的时序数据建模。2. 算法原理RNN模型的基本结构如下所示（图片来自参考文献）：如上图所示，循环神经网络通过使用自带反馈的神经元，能够处理任意长度的时序数据，对此结构按照时间展开的形式如下所示（图片来自参考文献）：2.1. RNN的结构上图中给出了RNN的内部结构，RNN根据

一、Logistic回归简介Logistic回归是解决二分类问题的分类算法。假设有mmm个训练样本{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}\left \{ \left ( \mathbf{x}^{(1)},y^{(1)} \right ),\left ( \mathbf{x}^{...

Softmax Regression是Logistic回归在多分类上的推广，对于Logistic回归以及Softmax Regression的详细介绍可以参见：简单易学的机器学习算法——Logistic回归利用Theano理解深度学习——Logistic Regression深度学习算法原理——Softmax Regression下面的代码是利用TensorFlow基本API实现的...

本文是在Softmax Regression的基础上增加了一个隐含层，实现了Multilayer Perceptron的一个模型，Multilayer Perceptron是深度学习模型的基础，对于Softmax Regression的TensorFlow实现，可以参见博文“TensorFlow实践——Softmax Regression”。对于Multilayer Perceptron的基本原理...

参考文献

AlexNet卷积神经网络是具有历史意义的网络结构，其在2012年的ImageNet图像分类竞赛中，top-5错误率比上一年的冠军下降了十个百分点，而且远远超过当年的第二名。1、AlexNet的网络结构 参考文献

参考文献https://blog.csdn.net/shine19930820/article/details/78810984

论文地址：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification文章中提到使用双向的LSTM（Bidirectional LSTM）加上Attention的机制处理文本分类的相关问题，以解决CNN模型不适合学习长距离的语义信息的问题。1. 网络结构在Attention...

论文地址：Convolutional Neural Networks for Sentence Classification这篇文章是首次将CNN模型应用在文本分类中，在我的工作中，也是经常需要使用到TextCNN这样的文本分类方法。1. TextCNN的网络结构TextCNN的模型结构中主要包含如下的几个部分：Embedding层：将词映射成对应的向量。以上图为例，7个词被影射到对应...

这篇文章是阅读YouTube的《Deep Neural Networks for YouTube Recommendations》后的一点总结，这篇文章值得详细阅读，因此将其中的核心点整理出来。文章的重点1、总结推荐系统的架构2、如何利用深度模型做召回3、如何利用深度模型做Ranking1、推荐系统的架构在本文中，推荐系统的架构与其他的推荐架构极为类似，都是由两...

这篇文章是阅读《Deep Learning of Binary Hash Codes for Fast Image Retrieval》后的总结，该文章提出了一种利用CNN处理基于内容的图像检索的方法。文章的重点图像的binary hash code的生成方法两阶段的检索方法——coarse-to-fine search strategy1、基于内容的图像检索...

注：最近打算将UFLDL教程重新看一遍，其实里面有很多关于神经网络以及深度学习的知识点很有用，但是只是学习深度学习的话有一些内容就有点多余，所以想整理一个笔记，记录下神经网络到深度学习的一些知识点。整个教材已经非常好，网上有原版的英文版，也有翻译的中文版，这个只是自己的学习笔记，对原来教程中的内容进行了梳理，有些图也是引用的原来的教程，若内容上有任何错误，希望与我联系，若内容有侵权，同样也希望告知，

一、多层感知机MLP1、MLP概述对于含有单个隐含层的多层感知机(single-hidden-layer Multi-Layer Perceptron, MLP)，可以将其看成是一个特殊的Logistic回归分类器，这个特殊的Logistic回归分类器首先通过一个非线性变换Φ\Phi (non-linear transformation)对样本的输入进行非线性变换，然后将变换后的值作为Logisti

注：本系列是基于参考文献中的内容，并对其进行整理，注释形成的一系列关于深度学习的基本理论与实践的材料，基本内容与参考文献保持一致，并对这个专题起名为“利用Theano理解深度学习”系列，若文中有任何问题欢迎咨询。本文提供PDF版本，欢迎索取。“利用Theano理解深度学习”系列分为44个部分，其中第一部分主要包括：利用Theano理解深度学习——Logistic Regression利用Thea

yi

注：本系列是基于参考文献中的内容，并对其进行整理，注释形成的一系列关于深度学习的基本理论与实践的材料，基本内容与参考文献保持一致，并对这个专题起名为“利用Theano理解深度学习”系列，若文中有任何问题欢迎咨询。本文提供PDF版本，欢迎索取。“利用Theano理解深度学习”系列分为44个部分，这是第二部分，在第一部分中的算法主要是监督学习算法，在这部分中主要是无监督学习算法和半监督学习算法，主要包括

注：最近打算将UFLDL教程重新看一遍，其实里面有很多关于神经网络以及深度学习的知识点很有用，但是只是学习深度学习的话有一些内容就有点多余，所以想整理一个笔记，记录下神经网络到深度学习的一些知识点。整个教材已经非常好，网上有原版的英文版，也有翻译的中文版，这个只是自己的学习笔记，对原来教程中的内容进行了梳理，有些图也是引用的原来的教程，若内容上有任何错误，希望与我联系，若内容有侵权，同样也希望告知...

注：最近打算将UFLDL教程重新看一遍，其实里面有很多关于神经网络以及深度学习的知识点很有用，但是只是学习深度学习的话有一些内容就有点多余，所以想整理一个笔记，记录下神经网络到深度学习的一些知识点。整个教材已经非常好，网上有原版的英文版，也有翻译的中文版，这个只是自己的学习笔记，对原来教程中的内容进行了梳理，有些图也是引用的原来的教程，若内容上有任何错误，希望与我联系，若内容有侵权，同样也希望告知，

一、神经网络1、神经元概述神经网络是由一个个的被称为“神经元”的基本单元构成，单个神经元的结构如下图所示： 对于上述的神经元，其输入为x1x1x_1，x2x2x_2，x3x3x_3以及截距+1+1+1，其输出为：hW,b(x)=f(WTx)=f(∑i=13Wixi+b)hW,b(x)=f(WTx)=f(∑i=13Wixi+b)h_{\mathbf{W},b}\le...

这篇文章是阅读《Wide & Deep Learning for Recommender Systems》后的总结，该文章中提出结合Wide模型和Deep模型的组合方法，对于提升推荐系统（Recommendation System）的性能有很重要的作用。1、背景本文提出Wide & Deep模型，旨在使得训练得到的模型能够同时获得记忆（memorization）...

一、Logistic Regression1、LR模型Logistic回归是广义线性模型的一种，属于线性的分类模型，在其模型中主要有两个参数，即：权重矩阵WW和偏置向量bb。在Logistic回归中，主要是将输入向量映射到一组超平面，每一个超平面代表了一个类别。输入向量到超平面的距离表示的是输入向量属于对应的类别的成员的概率。对于输入向量xx，其属于类别ii的概率为：P(Y=i∣x,W,b)=sof