![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
kalp_yp
这个作者很懒,什么都没留下…
展开
-
深度学习入门笔记(二)————线性神经网络,delta学习规则,梯度下降法
一 线性神经网络 与感知器的区别,感知器激活函数的输出只有两种可能(1,-1),线性神经网络的输出可取任意值,其激活函数是线性函数。线性神经网络采用LMS算法来调整网络的权值和偏置。线性神经网络在结构上与感知器相似,但神经元激活函数不同。在模型训练时把sign函数改为purelin函数(y=x)。二 LMS学习规则 LMS使神经元实际输出与期望输出之间的平方差最小 学习信...原创 2018-09-11 15:48:02 · 2250 阅读 · 0 评论 -
深度学习中的概念
IOU交并比函数:实际物体框与算法检测物体狂的交集大小与并集大小的比值,用来目标衡量定位的精准度 。一般大于0.5为正确。YOLU 将图片分成多个小格,分别判断每个小格中是否有目标,算法速度较快。非最大值抑制保证算法对每个对象只检测一次。实现方法:找出IOU最高的一个框,并将与这个框重合率高且IOU值较高的框抑制,。...原创 2018-09-20 18:58:05 · 262 阅读 · 0 评论 -
Mnist数据集逻辑回归分类任务
#Mnist数据集逻辑回归分类任务from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tf#one_hot=True 表示对label进行one-hot编码,比如标签4可表示为[0,0,0,0,1,0,0,0,0,0,0]mnist = input_data.read_data_...原创 2018-10-05 16:25:01 · 1005 阅读 · 0 评论 -
Cifar-10图像分类任务
Cifar-10数据集Cifar-10数据集是由10类32*32的彩色图片组成的数据集,一共有60000张图片,每类包含6000张图片。其中50000张是训练集,1000张是测试集。数据集的下载地址:http://www.cs.toronto.edu/~kriz/cifar.html1. 获取每个batch文件中的字典信息import pickledef unpickle(fi...原创 2018-10-12 21:21:38 · 3965 阅读 · 0 评论 -
tensorflow线性回归
#线性回归import numpy as npimport tensorflow as tfimport matplotlib.pyplot as plt#随机生成1000个点 围绕在y = 0.1x + 0.3直线周围num_points = 1000vectors_set = []#循环 从0到num_points依次赋值给ifor i in range(num_poin...原创 2018-09-28 14:02:40 · 218 阅读 · 0 评论 -
mnist数据集
#Mnist数据集 属性已经写好 可以直接调用import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_dataprint("大家吃鸡")print("下载呢")mnist = inpu...原创 2018-09-28 15:10:09 · 239 阅读 · 0 评论 -
单层神经网络demo
神经网络做的是提前特征的工作,与逻辑回归相比,添加了中间层和激活函数。这里输入设置为784,输出的分类为10隐藏层:让输入的特征进行更好的组合变化,把784个特征按照某种方式映射成更高级,识别能力更强的特征。这里把隐藏层设置为50个单元。1.导入包#Mnist数据集 属性已经写好 可以直接调用from tensorflow.examples.tutorials.mnist...原创 2018-10-09 21:30:15 · 331 阅读 · 0 评论 -
双层简单神经网络demo
#Mnist数据集 属性已经写好 可以直接调用from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tf #one_hot=True 表示对label进行one-hot编码,比如标签4可表示为[0,0,0,0,1,0,0,0,0,0,0]mnist = input_data.read...原创 2018-10-10 10:43:35 · 2291 阅读 · 0 评论 -
CNN猫狗识别
train.pyimport datasetimport tensorflow as tfimport timefrom datetime import timedeltaimport mathimport randomimport numpy as np# conda install --channel https://conda.anaconda.org/menpo ope...原创 2018-10-19 20:13:30 · 1068 阅读 · 1 评论 -
简单CNNdemo
卷积神经网络添加了卷积层(激活函数),最大池化层和全连接层。卷积层:对原始图像进行特征提取。最大池化层:没有参数。压缩图像,体积变小。全连接层:把卷积提取的特征组合在一起,用组合到一起的特征再进行分类。1.导入包import tensorflow as tfimport randomimport numpy as npimport matplotlib.pyplot a...原创 2018-10-10 21:32:42 · 1082 阅读 · 0 评论 -
tensorflow常见函数
Numpy.random.normal(loc=0.0,scale=1.0,size=None)高斯分布函数loc:该概率分布的均值,对应着整个分布的中心(center)scale:该概率分布的标准差(对应于分布的宽度,scale越大越矮胖,scale越小,越瘦高size:输出的shape,默认为None,只输出一个值tf.random_uniform(shape.minval...原创 2018-11-01 10:29:14 · 297 阅读 · 0 评论 -
深度学习短视频笔记
输入和输出的关系由模型来描述,整理好数据的下一步是选择适当的模型。前馈神经网络(隐藏层):在线性模型的基础上增加若干次(线性模型+非线性模型(激活函数)的组合)。如图在线性模型前再加两个线性模型,并且两个线性模型后都加一个ReLU非线性函数。效果:当输出小于0时取0,否则不变。 梯度就是大小为导数的值,方向指向误差值增加最快方向的向量。梯度指向误差值增加最快方向,让参数向...原创 2018-11-04 13:27:09 · 660 阅读 · 0 评论 -
波尔兹曼机
是一种模拟的退火过程。梯度下降法只能往下走,不能往上走。模拟退火算法中是可以跳动的,会根据状态改变接受的概率来判断要怎么走。假设前一状态为x(n),状态改变后为x(n+1),相应的,系统能力由E(n)变为E(n+1)。系统由x(n)变为x(n+1)的接受概率为p: 温度的初始值 T要选得足够高,使得所有可能的状态转移都能被接受。退火速率:1.指数下降方式: n=1,2,....原创 2018-09-14 18:53:30 · 217 阅读 · 0 评论 -
Hopfield神经网络
Hopfield神经网络是一种离散型神经网络,也是反馈型神经网络,它的每一个节点的输出都是其他节点的输入。1.网络状态: 神经元的权值矩阵是对称矩阵,有 。当每个神经元的状态都不再改变时,就是反馈网络的稳定状态,稳定状态就是网络的输出。2.网络的异步工作方式:是一种串行工作方式。在网络运行时,每次只有一个神经元的状态进行调整,其他神经元的状态保持不变。调整方式如下:...原创 2018-09-14 10:45:43 · 2531 阅读 · 0 评论 -
深度学习入门笔记(二)————线性神经网络解决异或问题(代码)
首先梳理一下思路 输入为1,0。00异或为0,01异或为1,10异或为1,11异或为0.所以输出为2类如下图可知,需要两条线划分。Madaline用间接地办法解决。多个线性函数进行划分,然后对各个神经元的输出做逻辑运算。如图,用两条直线实现了异或的划分。 线性神经网络的办法:对神经元加入非线性输入,引入非线性成分,使等效的输入维度变大 如图,输入x1,x2分别为1,0。再...原创 2018-09-11 20:14:55 · 2500 阅读 · 1 评论 -
深度学入门笔记(一)————单层感知器
感知器:也叫神经元,类似于大脑神经细胞,完成输入信号分析输出等一系列过程,是一种早期的神经网络模型 发展历程: 单层感知器结构:神经网络的作用:调整权值使实际输出接近期望输出。学习信号:神经元期望输出与实际值输出之差 为期望输出, 为实际输出信号。 为输入信号矩阵,sgn为激活函数, 是实际输出值。权值调整公式为:η为学习效率, X 为...原创 2018-09-09 10:26:37 · 2350 阅读 · 0 评论 -
深度学入门笔记(一)————单层感知器(练习代码)
练习题目平面坐标系上有三个点,(3,3),(4,3)这两个点的标签为1,(1,1)的标签为-1。构建神经网络来分类。思路要分类的数据是二维数据,所以只需要2个输入节点,也可把神经元的偏置值也设置成一个节点,这样就有3个输入节点。输入数据:(1,3,3),(1,4,3)(1,1,1)数据对应的标签为(1,1,-1) 及种类有两种,构建神经网络进行分类初始化权重值W0,W...原创 2018-09-09 16:27:01 · 1862 阅读 · 0 评论 -
python3中No module named系列错误
第一次写phthon,在导入包的时候出现了“No module named ‘numpy’”和“No module named ‘matplotlib’”的错误,在网上找到了解决办法。No module named ‘numpy 在命令行中输入pip3 install numpy 在IDLE中输入: Test numpy import numpy as np a = np.ar...原创 2018-09-09 16:34:33 · 4042 阅读 · 0 评论 -
受限玻尔兹曼机
马尔可夫过程:将来只依赖于现在不依赖过去的过程。马尔可夫链:时间和状态都是离散的马尔可夫过程。 BM是全连接的,RBM是可见层之间不连接,隐层之间不连接。基于对比散度的RBM快速学习算法 训练RBM输入:一个训练样本,隐层单元个数m,学习速率,最大训练周期T输出 :连接权重矩阵W,可见层的偏置向量m,隐层的偏置向量b训练阶段 :初始化:令可见层单元...原创 2018-09-15 22:07:10 · 284 阅读 · 0 评论 -
深度学习入门笔记(三)————BP神经网络算法推导
一 多层网络结构 误差反向传播,把误差从最后输出层往上传,每一层神经元都可以不断调节权值,使其达到一个最好的状态。有几个类别设置几个输出单元。层数越多,数据提取的特征越高层。二 常用激活函数Sigmoid函数 2. Tanh函数和Softsign函数 三 BP神经网络的具体实现 1.基本思想:由信号的正向传播和误差的反向传播组成。首先是正向传播,数据从输入...原创 2018-09-12 15:55:57 · 2594 阅读 · 0 评论 -
深度学习入门笔记(三)————BP神经网络解决异或问题(代码)
一 网络结构 二 代码 导入包import numpy as npimport matplotlib.pyplot as plt2.输入数据X = np.array([[1,0,0],[1,0,1],[1,1,0],[1,1,1]])3.定义标签#标签 0 0 为 0 10 为1 01 为1 11 为0Y = np.array([[0,1,1,0...原创 2018-09-12 19:02:06 · 8313 阅读 · 1 评论 -
BP网络数字识别
我们使用sklearn库来进行训练,识别数字0~9。1.导入包import numpy as npfrom sklearn.datasets import load_digits #数据集from sklearn.preprocessing import LabelBinarizer #标签二值化from sklearn.cross_validation import trai...原创 2018-09-13 14:54:21 · 1340 阅读 · 0 评论 -
残差网络
残差块残差块是两层神经网络在L层激活,得到a[l+1]再次进行激活。在ReLU非线性激活前加上a[l],a[l]的信息直接到达神经网络的深层 不再沿着主路径传递。也称跳远连接(捷径)。跳远连接构成残差块,残差块构成残差网络。 由此得出a[l+2]=a[l]。所以尽管多了两层,也只是把a[l]的值赋给a[l+2],建立了恒等函数。要保证a[l]和a[l+2]的维度相同 若不同...原创 2018-09-18 18:32:10 · 418 阅读 · 0 评论 -
几种经典网络
LeNet-5 LeNet-5主要是针对灰度图像训练,用来识别手写体数字等。随着网络层数的加深,图像的宽度和高度减小,信道数增加。最后是得到了84个特征。AlexNet 能处理非常相似的基本构造模块。采用相似的含有大量隐藏单元或数据的基本构造模块使得AlexNet表现出色。使用了ReLu激活函数。VGG-16 超参数少,是一种只需要专注构建卷积层的简单网络。有1...原创 2018-09-19 09:32:20 · 579 阅读 · 0 评论 -
Inception网络
作用:代替人工来确定卷积层中过滤器的类型,或者确定是否需要创建卷积层或池化层。基本思想:不需要人为的决定使用哪个过滤器,或者是否需要池化,而是由网络自行确定这些参数。人们只需给出这些参数的所有可能值,然后把这些输出连起来,让网络自己学习它需要什么样的参数,采用哪些过滤器组合,所以主要用在不想选择过滤器种类的情况下。使用1*1的过滤器构建瓶颈层可减小计算成本,也不会降低性能 ...原创 2018-09-19 10:04:22 · 469 阅读 · 0 评论 -
AlexNet网络练习
testAlwex.py#!/usr/bin/env python# coding: UTF-8#.npy 存放w,b参数的值import osimport urllib.requestimport argparseimport sysimport alexnetimport cv2#https://www.lfd.uci.edu/~gohlke/pythonlibs/#...原创 2018-11-15 20:37:55 · 2022 阅读 · 0 评论