- 博客(17)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 三种梯度下降算法的比较和几种优化算法
前言这篇文章介绍了三种梯度下降方法的原理与优缺点，详细地讲解了Momentum、RMSprop和Adam优化算法，给出了使用建议。三种梯度下降方法1.Batch Gradient Descent，全部样本梯度下降一次，训练样本很大时，单次迭代需要时间太长。2.Stochastic Gradient Descent，单个样本梯度下降一次，没有了向量化加速，效率比Batch Gradient...
2019-01-02 17:31:31
3073
1
原创 seq2seq中的attention机制
前言本文来讲一讲应用于seq2seq模型的两种attention机制：Bahdanau Attention和Luong Attention。文中用公式+图清晰地展示了两种注意力机制的结构，最后对两者进行了对比。seq2seq传送门：click here.文中为了简洁使用基础RNN进行讲解，当然现在一般都是用LSTM，这里并不影响，用法是一样的。另外同样为了简洁，公式中省略掉了偏差。第一种...
2018-12-23 22:21:36
995
4
原创 Git详解
Git是目前世界上最先进的分布式版本控制系统。配置本机用户和邮箱λ git config --global user.name 名字λ git config --global user.email 邮箱 注意：git config的--global参数代表本机上所有git仓库都用这个配置。若想为某个仓库配置其它的用户名和邮箱：λ git config -user.name 名字λ ...
2018-12-22 22:43:19
288
原创 CNN文本分类原理讲解与实战
前言卷积神经网络主要用来做图片分类、目标检测等图像相关的任务，这篇文章介绍了它在NLP中的应用：文本分类。本文先介绍了CNN，然后分析了CNN为什么能用在NLP中，最后讲解了Yoon Kim (2014)提出的CNN文本分类模型，代码见github。什么是卷积简单介绍一下卷积运算，卷积运算作用就是用滤波器来学习或者检测图片的特征。看上图，左边是一张5×5的黑白图片，现在是矩阵的形式，每...
2018-12-22 10:33:35
22746
2
转载 最全的数据结构归纳总结
一些概念数据结构就是研究数据的逻辑结构和物理结构以及它们之间相互关系，并对这种结构定义相应的运算，而且确保经过这些运算后所得到的新结构仍然是原来的结构类型。数据：所有能被输入到计算机中，且能被计算机处理的符号的集合。是计算机操作的对象的总称。数据元素：数据（集合）中的一个“个体”，数据及结构中讨论的基本单位数据项：数据的不可分割的最小单位。一个数据元素可由若干个数据项组成。...
2018-12-17 22:05:58
10703
原创 seq2seq详解
前言我们通常使用RNN来对序列到序列问题建模，但是使用RNN建模，输出序列的长度必须和输入序列的长度相等。seq2seq框架很好地解决了这个问题。本文介绍了两种最常见的seq2seq框架。seq2seq介绍：seq2seq模型，全称Sequence to sequence，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LSTM、GRU等）结构。Enco...
2018-12-16 22:45:37
2162
原创 深入理解TensorFlow之基础概念：数据流图、张量、操作、会话、优化器
前言本文梳理了TensorFlow的基本概念：数据流图、Tensor、Operation、Variable、Placeholder、Session、Optimizer、minimize。并对每个概念进行了详细的讲解和扩展。阅读本文需要对深度学习有一定了解，知道tensorflow是什么。一. 编程范式：数据流图声明式编程和命令式编程：声明式编程：做什么命令式编程：怎么做Tenso...
2018-12-14 22:03:11
1480
原创 LSTM详解
前言之前的文章讲解了RNN的基本结构和其BPTT算法，说到了RNN无法解决长期依赖问题，这篇文章要讲的LSTM很好地解决了这个问题。本文部分内容翻译自Understanding LSTM Networks。文章分为四个部分：RNN与LSTM的对比LSTM的核心思想LSTM公式和结构详解LSTM变体介绍一. RNN与LSTM对比1.公式对比：首先对RNN的公式做一下变形：s...
2018-12-13 22:48:54
2208
原创 pandas常见用法总结
前言Pandas是一个开放源码的Python库，它使用强大的数据结构提供高性能的数据操作和分析工具。这篇文章以实例方式介绍了pandas的常见用法。导入# pandas一般会与numpy配合使用import pandas as pd import numpy as np DataFrame由一系列的Series组成# Series是DataFrame的一列series_1 =...
2018-12-13 13:29:22
524
原创 numpy常见用法总结
前言NumPy 是一个 Python 包。 它代表 “Numeric Python”。 它是一个由多维数组对象和用于处理数组的例程集合组成的库，主要用来处理数组和矩阵。这篇文章介绍了numpy最常用的一些用法，敲一遍下面的代码就算入门了。导入impotrt numpy as np向量矩阵vector = np.array([5, 10, 15, 20]) # 一维向量matrix...
2018-12-12 16:42:41
478
原创 理解BPTT及RNN的梯度消失与梯度爆炸
前言上篇文章RNN详解已经介绍了RNN的结构和前向传播的计算公式，这篇文章讲一下RNN的传向传播算法BPTT，及RNN梯度消失和梯度爆炸的原因。BPTTRNN的反向传播，也称为基于时间的反向传播算法BPTT(back propagation through time)。对所有参数求损失函数的偏导，并不断调整这些参数使得损失函数变得尽可能小。先贴出RNN的结构图以供观赏，下面讲的都是图中的...
2018-12-10 16:01:28
1439
原创 RNN详解
前言本文首先介绍了为什么使用RNN及其与DNN的区别，然后详细讲解了RNN的结构和它的计算公式。最后简单介绍了双向RNN及深层双向RNN的结构和计算公式。为什么用RNN？DNN和CNN无法对时间序建模，上一层神经元的输出只能传递给下一层神经元。而在循环神经网络(RNN)中，神经元的输出在下一时刻是可以传递给自身的，可以对时间序列建模。很多任务的时间序列信息很重要，即一个样本中前后输入的信息...
2018-12-08 21:50:32
3681
原创 不用框架使用numpy从零搭建深度神经网络(DNN)
构建神经网络的大体步骤1 . 训练集测试集搞好，模型框架定好(几层网络，每层几个神经元)2 . 初始化权重，定超参数3 . 训练模型(重头戏)：循环(需要定义迭代次数):a.前向传播b.计算代价函数c.后向传播d.更新参数(使用后向传播中存下来的参数)4 . 使用训练过的参数去预测结果本项目使用numpy实现了一个四层的DNN来对图片进行二分类：来判断图片中是否有猫。该项目...
2018-11-20 20:01:23
2344
原创 matlotlib简单画图教程
matplotlib是在Python中应用最多的2D图像的绘图工具包，使用matplotlib能够非常简单的可视化数据。画图流程import matplotlib.pyplot as plt # 导入fig = plt.figure(figsize=(16,9)) # 设定尺寸# 简单画法plt.plot(横纵坐标) # 画折线图plt.scatter() # 画散...
2018-11-19 20:39:16
533
原创 最全的激活函数详解
神经元图片来自：https://zhuanlan.zhihu.com/p/25110450上图是一个神经元的设计，其传输模式类似于人类大脑神经元之间的信息传递。在一个神经元中，突触(synapse)接受其它神经元的轴突(axon)传来的信息，通过轴突将信息传递出去。在这里，所有xix_ixi是其它神经元的轴突传来的信息，所有wiw_iwi 是突触接收信息的程度，所有wixiw_ix...
2018-11-19 19:41:01
803
原创 为什么用交叉熵做损失函数
交叉熵(cross entropy)经常用来做机器学习中的损失函数。要讲交叉熵就要从最基本的信息熵说起。1.信息熵信息熵是消除不确定性所需信息量的度量。（多看几遍这句话）信息熵就是信息的不确定程度，信息熵越小，信息越确定。信息熵=∑x=1n(信息x发生的概率×验证信息x需要的信息量)信息熵 = \sum_{x=1}^{n}(信息x发生的概率 × 验证信息x需要的信息量)信息熵=∑x=1n...
2018-09-20 18:45:39
25555
10
原创 python正则表达式
Java 随记变量类型创建一个简单的对象数组也是对象finalprivate构造函数封装this关键字重载与重写static父类子类构造函数static执行顺序例子单例设计模式继承多态抽象接口判断使用：类、子类、抽象类、接口成员变量和局部变量栈与堆primitive主数据类型的包装异常处理序列化文件输入/输出集合与数组的区别泛型正则表达式源文件（扩展名为.java）里面有类，类里面有方法，方法里...
2018-09-18 18:28:05
228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人