2018年09月_kalp_yp

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 mnist数据集

#Mnist数据集属性已经写好可以直接调用import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_dataprint("大家吃鸡")print("下载呢")mnist = inpu...

2018-09-28 15:10:09 240

原创 tensorflow线性回归

#线性回归import numpy as npimport tensorflow as tfimport matplotlib.pyplot as plt#随机生成1000个点围绕在y = 0.1x + 0.3直线周围num_points = 1000vectors_set = []#循环从0到num_points依次赋值给ifor i in range(num_poin...

2018-09-28 14:02:40 221

原创深度学习中的概念

IOU交并比函数：实际物体框与算法检测物体狂的交集大小与并集大小的比值，用来目标衡量定位的精准度。一般大于0.5为正确。YOLU 将图片分成多个小格，分别判断每个小格中是否有目标，算法速度较快。非最大值抑制保证算法对每个对象只检测一次。实现方法：找出IOU最高的一个框，并将与这个框重合率高且IOU值较高的框抑制，。...

2018-09-20 18:58:05 265

原创 Inception网络

作用：代替人工来确定卷积层中过滤器的类型，或者确定是否需要创建卷积层或池化层。基本思想：不需要人为的决定使用哪个过滤器，或者是否需要池化，而是由网络自行确定这些参数。人们只需给出这些参数的所有可能值，然后把这些输出连起来，让网络自己学习它需要什么样的参数，采用哪些过滤器组合，所以主要用在不想选择过滤器种类的情况下。使用1*1的过滤器构建瓶颈层可减小计算成本，也不会降低性能 ...

2018-09-19 10:04:22 472

原创几种经典网络

LeNet-5 LeNet-5主要是针对灰度图像训练，用来识别手写体数字等。随着网络层数的加深，图像的宽度和高度减小，信道数增加。最后是得到了84个特征。AlexNet 能处理非常相似的基本构造模块。采用相似的含有大量隐藏单元或数据的基本构造模块使得AlexNet表现出色。使用了ReLu激活函数。VGG-16 超参数少，是一种只需要专注构建卷积层的简单网络。有1...

2018-09-19 09:32:20 583

原创残差网络

残差块残差块是两层神经网络在L层激活，得到a[l+1]再次进行激活。在ReLU非线性激活前加上a[l],a[l]的信息直接到达神经网络的深层不再沿着主路径传递。也称跳远连接（捷径）。跳远连接构成残差块，残差块构成残差网络。由此得出a[l+2]=a[l]。所以尽管多了两层，也只是把a[l]的值赋给a[l+2]，建立了恒等函数。要保证a[l]和a[l+2]的维度相同若不同...

2018-09-18 18:32:10 421

原创受限玻尔兹曼机

马尔可夫过程：将来只依赖于现在不依赖过去的过程。马尔可夫链：时间和状态都是离散的马尔可夫过程。 BM是全连接的，RBM是可见层之间不连接，隐层之间不连接。基于对比散度的RBM快速学习算法训练RBM输入：一个训练样本,隐层单元个数m，学习速率，最大训练周期T输出：连接权重矩阵W，可见层的偏置向量m，隐层的偏置向量b训练阶段：初始化：令可见层单元...

2018-09-15 22:07:10 289

原创波尔兹曼机

是一种模拟的退火过程。梯度下降法只能往下走，不能往上走。模拟退火算法中是可以跳动的，会根据状态改变接受的概率来判断要怎么走。假设前一状态为x(n),状态改变后为x(n+1)，相应的，系统能力由E(n)变为E(n+1)。系统由x(n)变为x(n+1)的接受概率为p: 温度的初始值 T要选得足够高，使得所有可能的状态转移都能被接受。退火速率：1.指数下降方式： n=1,2,....

2018-09-14 18:53:30 223

原创 Hopfield神经网络

Hopfield神经网络是一种离散型神经网络，也是反馈型神经网络，它的每一个节点的输出都是其他节点的输入。1.网络状态：神经元的权值矩阵是对称矩阵，有。当每个神经元的状态都不再改变时，就是反馈网络的稳定状态，稳定状态就是网络的输出。2.网络的异步工作方式：是一种串行工作方式。在网络运行时，每次只有一个神经元的状态进行调整，其他神经元的状态保持不变。调整方式如下：...

2018-09-14 10:45:43 2534

原创 BP网络数字识别

我们使用sklearn库来进行训练，识别数字0~9。1.导入包import numpy as npfrom sklearn.datasets import load_digits #数据集from sklearn.preprocessing import LabelBinarizer #标签二值化from sklearn.cross_validation import trai...

2018-09-13 14:54:21 1342

原创深度学习入门笔记（三）————BP神经网络解决异或问题（代码）

一网络结构二代码导入包import numpy as npimport matplotlib.pyplot as plt2.输入数据X = np.array([[1,0,0],[1,0,1],[1,1,0],[1,1,1]])3.定义标签#标签 0 0 为 0 10 为1 01 为1 11 为0Y = np.array([[0,1,1,0...

2018-09-12 19:02:06 8321 1

原创深度学习入门笔记（三）————BP神经网络算法推导

一多层网络结构误差反向传播，把误差从最后输出层往上传，每一层神经元都可以不断调节权值，使其达到一个最好的状态。有几个类别设置几个输出单元。层数越多，数据提取的特征越高层。二常用激活函数Sigmoid函数 2. Tanh函数和Softsign函数三 BP神经网络的具体实现 1.基本思想：由信号的正向传播和误差的反向传播组成。首先是正向传播，数据从输入...

2018-09-12 15:55:57 2602

原创深度学习入门笔记（二）————线性神经网络解决异或问题（代码）

首先梳理一下思路输入为1，0。00异或为0，01异或为1，10异或为1，11异或为0.所以输出为2类如下图可知，需要两条线划分。Madaline用间接地办法解决。多个线性函数进行划分，然后对各个神经元的输出做逻辑运算。如图，用两条直线实现了异或的划分。线性神经网络的办法：对神经元加入非线性输入，引入非线性成分，使等效的输入维度变大如图，输入x1，x2分别为1，0。再...

2018-09-11 20:14:55 2502 1

原创深度学习入门笔记（二）————线性神经网络，delta学习规则，梯度下降法

一线性神经网络与感知器的区别，感知器激活函数的输出只有两种可能(1,-1)，线性神经网络的输出可取任意值，其激活函数是线性函数。线性神经网络采用LMS算法来调整网络的权值和偏置。线性神经网络在结构上与感知器相似，但神经元激活函数不同。在模型训练时把sign函数改为purelin函数(y=x)。二 LMS学习规则 LMS使神经元实际输出与期望输出之间的平方差最小学习信...

2018-09-11 15:48:02 2259

原创 python3中No module named系列错误

第一次写phthon，在导入包的时候出现了“No module named ‘numpy’”和“No module named ‘matplotlib’”的错误，在网上找到了解决办法。No module named ‘numpy 在命令行中输入pip3 install numpy 在IDLE中输入： Test numpy import numpy as np a = np.ar...

2018-09-09 16:34:33 4057

原创深度学入门笔记（一）————单层感知器（练习代码）

练习题目平面坐标系上有三个点，(3,3),(4,3)这两个点的标签为1，(1,1)的标签为-1。构建神经网络来分类。思路要分类的数据是二维数据，所以只需要2个输入节点，也可把神经元的偏置值也设置成一个节点，这样就有3个输入节点。输入数据：（1，3，3），（1，4，3）（1，1，1）数据对应的标签为（1，1，-1）及种类有两种，构建神经网络进行分类初始化权重值W0,W...

2018-09-09 16:27:01 1866

原创深度学入门笔记（一）————单层感知器

感知器：也叫神经元，类似于大脑神经细胞，完成输入信号分析输出等一系列过程，是一种早期的神经网络模型发展历程：单层感知器结构：神经网络的作用：调整权值使实际输出接近期望输出。学习信号：神经元期望输出与实际值输出之差为期望输出，为实际输出信号。为输入信号矩阵，sgn为激活函数，是实际输出值。权值调整公式为：η为学习效率， X 为...

2018-09-09 10:26:37 2357