Deep learning
lilong117194
“The world is not made of strings , but is made of things.”
展开
-
CNN基础知识(1)
卷积神经网络(CNN)是一种前馈神经网络,它的神经元可以响应一部分覆盖范围内的周围单元,因其特性被广泛用于模式识别。由于该网络避免了对图像的复杂预处理,可以直接输入原始图像,因而得到了更多的应用。CNN的基础结构包括两层。 第一层为特征提取层,每个神经元的输入与前一层的局部接受域相连并提取该局部的特征。一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来。 第二层为特征映射层。网原创 2018-01-09 21:46:07 · 1623 阅读 · 0 评论 -
长短时记忆网络(LSTM)部分组件(六)
在前面的几篇文章中试着实现了CNN,RNN的一些组件,这里继续学习LSTM,也是是实现部分组件,旨在学习其LSTM的原理。具体参考: https://www.zybuluo.com/hanbingtao/note/581764下面是代码实现:...原创 2018-05-16 20:20:57 · 1404 阅读 · 0 评论 -
python 实现感知器(一)
基础知识不再重述,可参考https://www.zybuluo.com/hanbingtao/note/433855直接贴出文章里的代码以供参考学习,这里主要是为了锻炼自己的编写代码的能力,之前一直是过程式的编程,这里锻炼自己面向对象的编程能力。# -*- coding: utf-8 -*-# 这里定义一个感知器的类class Perceptron(object): d...原创 2018-04-28 15:23:05 · 3419 阅读 · 0 评论 -
线性拟合和梯度下降python代码实现—面向对象(二)
最近看到了一个系列博客,写的不错,就拿来学习了下。一来加深理解,二来锻炼自己编写代码的能力。关于基础的理论知识就不重述了,网上资源很多,这里推荐:https://www.zybuluo.com/hanbingtao/note/448086,因为我就是学习的这个系列博客。这里只对比和上篇python 实现感知器之间的联系和代码复用的地方。 这里只更新下激活函数即可,而且这里的激活函数相当于...原创 2018-05-02 16:21:12 · 829 阅读 · 0 评论 -
python面向对象、向量化来实现神经网络和反向传播(三)
现在,我们要根据前面的算法,实现一个基本的全连接神经网络,这并不需要太多代码。我们在这里依然采用面向对象设计。理论知识参考:https://www.zybuluo.com/hanbingtao/note/476663,这里只撸代码。由于自身的对象编程意识比较弱,这里重点分析下算法的面向对象编程。1. 神经网络的实现(面向对象)首先,本算法的实现有几个类组成: 如上图,可以...原创 2018-05-06 17:36:21 · 3403 阅读 · 0 评论 -
python 面向对象实现CNN(四)
参考:http://mp.weixin.qq.com/s/x6NIkzQSgvl0_rfGe7Cjqg原创 2018-05-11 14:55:27 · 2089 阅读 · 0 评论 -
循环神经网络RNN的基本组件(五)
RNN的基础知识和公式推导参考: https://www.zybuluo.com/hanbingtao/note/541458下面的部分实现代码也是基于上面的文章给出的,通过实现其中的组件来加深对RNN原理的认识,并且可以熟悉代码实现的框架。这里强调下:循环神经网络的训练循环神经网络的训练算法:BPTTBPTT算法是针对循环层的训练算法,它的基本原理和BP算法是一样的,也包含同样...原创 2018-05-13 20:52:05 · 875 阅读 · 2 评论 -
递归神经网络部分组件(七)
递归神经网络的基础知识参考: https://www.zybuluo.com/hanbingtao/note/626300原创 2018-05-17 14:54:18 · 574 阅读 · 0 评论 -
CNN基础知识(2)
这里不再重复什么是CNN,参考了两篇博文,总结记录了在学习CNN过程中的几点疑惑。CNN做的就是下面3件事:1. 读取图片:把由一个个像素点组成的图片转换为计算机能读懂的0~255数字组成矩阵图。2. 提取特征:这是最关键的一步:此过程是由几个卷积核组成的卷积过程。这里需要解释下,在卷积的过程中,会不止一个过滤器(也叫卷积核),因为每个过滤器的参数不同,提取的特征也不同(而大小原创 2018-02-05 19:27:06 · 1181 阅读 · 0 评论 -
深度学习中softmax交叉熵损失函数的理解
softmax层的作用通过神经网络解决多分类问题时,最常用的一种方式就是在最后一层设置n个输出节点,无论在浅层神经网络还是在CNN中都是如此,比如,在AlexNet中最后的输出层有1000个节点,即便是ResNet取消了全连接层,但1000个节点的输出层还在。一般情况下,最后一个输出层的节点个数与分类任务的目标数相等。 假设最后的节点数为N,那么对于每一个样例,神经网络可以得到一个N维的...原创 2018-08-11 23:49:43 · 29243 阅读 · 7 评论