深度学习
拦路雨g
Coding || Reading || practise
展开
-
(matlab实现)sigmoid函数和tanh函数以及ReLU函数
1. logsig函数即是logistic Regression(逻辑回归)中的sigmoid函数。logsig函数表达式为:matlab实现:figure('NumberTitle', 'off', 'Name', 'Sigmoid函数');x=-10:0.1:10;y= 1 ./ (1 + exp(-x));plot(x,y);xlabel('X轴');ylabel(...原创 2017-08-06 20:09:35 · 53012 阅读 · 5 评论 -
严格k稀疏信号
严格k稀疏信号:定义:考虑一个有限长信号,如果信号x至多有k个非零元素,即,则称信号x为严格k稀疏信号。k稀疏信号:定义: 如果一个信号至多有k个非零变换系数,则称该信号是k稀疏的。如果一个信号可以用一个k稀疏向量来近似表示,则称这样的信号是可压缩的。一般情况下,信号是不具备压缩性的,但通过一些变换下可以达到稀疏。比如正弦波不是稀疏的,但他的傅里叶变换是稀疏的,只包含一个值...转载 2018-08-08 16:06:51 · 3064 阅读 · 0 评论 -
径向基神经网络
径向基是一种单隐层神经网络,使用径向基函数作为激活函数。输出是隐层神经元的加权求和。模型为:注意:Park和Sandberg于1991年证明:当具有足够多的隐单元个数的径向基网络,则能以任意精度逼近连续函数。当然本人觉得这代价太大了,深度架构,比如多隐层的其他网络(CNN,RBN,SAE等)对待复杂模式识别,应当更胜一筹。参考文献:《深度学习、优化与识别》李焦成。...转载 2018-08-08 17:12:05 · 507 阅读 · 0 评论 -
玻尔兹曼机 / 受限玻尔兹曼机
玻尔兹曼机 / 受限玻尔兹曼机 是一种基于能量的模型,即能量最小化时网络模型达到理想状态。网络结构上分两层: 显层用于数据的输入与输出,隐层则被理解为数据的内在表达。可见玻尔兹曼机的神经元状态都由0,1组成。 受限玻尔兹曼机:数据集为,(本质上,玻尔兹曼机和受限玻尔兹曼机为自编码网络,是一种无监督学习方式),关于受限(同一层的单元互相不连接)玻尔兹曼机建立的能量函数为:基于...转载 2018-08-08 20:58:01 · 1685 阅读 · 0 评论 -
小波神经网络
小波神经网络是指沿用神经网络的结构,其中超参数(激活函数)选择小波函数(具有解析形式),选定特定的小波后,其参数包括尺度因子和平移因子。 参考文献:《深度学习、优化与识别》 李焦成...转载 2018-08-08 21:45:51 · 28555 阅读 · 1 评论 -
LeNet-5、VGG16、AlexNet
原创 2018-08-22 22:41:12 · 646 阅读 · 0 评论 -
基于卷积神经网络的P300脑机接口信号检测
参考文献《Convolutional Neural Networks for P300 Detection with Application to Brain-Computer Interface》;论文下载地址:https://ieeexplore.ieee.org/document/5492691/本文主旨:通过CNN网络检测P300信号是否存在。贯穿全文的有两类CNN模型;...原创 2018-09-03 17:00:09 · 11045 阅读 · 11 评论 -
Tensorflow函数:tf.random_normal
在tensorflow中,经常用到: W1 = tf.Variable(tf.random_normal([3, 3, 1, 32], stddev=0.01)),对于函数tf.random_normal解释如下:tf.random_normaltf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None...原创 2018-09-03 15:13:03 · 1394 阅读 · 0 评论 -
基于一维卷积神经网络的增强效率BPSK解调器《翻译》
参考文献:Zhang M, Liu Z, Li L, et al. Enhanced Efficiency BPSK Demodulator Based on One-Dimensional Convolutional Neural Network[J]. IEEE Access, 2018, PP(99):1-1.pdf下载链接:https://ieeexplore.ieee.org/doc...原创 2018-10-17 16:28:27 · 2151 阅读 · 0 评论 -
强化学习(Reinforcement learning)
强化学习又称增强学习。 强化学习要解决的问题:一个能够感知环境的自治智能体(Agent),如何通过学习选择能够达到目标的最优动作,即强化学习Agent的任务是从环境收集的数据,并作出相应的动作,此动作的表达将收到激励或者惩罚,以改进Agent对环境的决策。 强化学习的特征:1. Agent不是静止的、被动的等待,而是主动对环境做出试探;2. 环境对试探动作反馈的信息是评...原创 2018-11-07 17:01:50 · 1400 阅读 · 0 评论 -
深度学习一些基本定理与概念
定义1: 深度学习是利用多个非线性信息处理层,来完成监督或者无监督的特征提取和转化,用来解决回归或分类问题。定义2: 深度学习是一种通过多层表示来对数据之间的复杂关系建模。高层的特征取决于低层的特征和概念。定义3: 相同的神经元个数下,更深的网络结构能表现出更强的拟合性能。深度学习的一些缺点:1. 深度学习使用的函数簇是相当复杂的,所以深度学习算法缺乏保证。但是限制函数满...原创 2018-12-20 16:15:46 · 598 阅读 · 1 评论 -
tensorflow变量创建与初始化
背景:import tensorflow as tf1. tensorflow创建变量的方式有两种:v = tf.get_variable("v", shape=[1], initializer=tf.constant_initializer(1.0))或者:v = tf.Variable(tf.constant(1.0, shape=[1]), name='v')...原创 2019-04-17 16:09:44 · 472 阅读 · 0 评论 -
matlab2019a中LSTM网络使用方法及源码示例(Deep Learning Toolbox系列篇6)
此示例说明如何使用长短期记忆 (LSTM) 网络对序列数据进行分类。要训练深度神经网络以对序列数据进行分类,可以使用 LSTM 网络。LSTM 网络允许您将序列数据输入网络,并根据序列数据的各个时间步进行预测。此示例使用 [1] 和 [2] 中所述的日语元音数据集。此示例训练一个 LSTM 网络,旨在根据表示连续说出的两个日语元音的时序数据来识别说话者。训练数据包含九个说话者的时序数据。每...原创 2019-05-09 14:51:14 · 42739 阅读 · 25 评论 -
RNN(循环神经网络 or 递归神经网络)
原创 2018-07-11 10:04:08 · 3467 阅读 · 0 评论 -
tensorflow所有版本均为64
今天在一个老机器上安装了一个LUBUNTU,速度比之前的UBUNTU16.04快了几倍不止。而后想装个tensorflow搞搞,查看一下cpu信息,结果是32的架构:同时安装不了tensorflow,进入源文件一看:全是64位的文件~~...原创 2018-04-26 17:07:18 · 1402 阅读 · 0 评论 -
tensorflow:计算图
#以下代码会自动生成一个计算图,且为默认计算图import tensorflow as tfa = tf.constant([1.0, 2.0],name = "a")b = tf.constant([2.0, 3.0],name = "b")result = a + b#a的所属计算图是默认计算图print(a.graph is tf.get_default_graph())#Tru...原创 2018-03-30 11:16:28 · 827 阅读 · 0 评论 -
tensorflow: 张量(Tensor)
在tensorflow程序中所有的数据都通过张量的形式来表示。在张量中并没有保存数字,它保存的是如何得到这些数字的计算过程。 来看看一个tf的加法:import tensorflow as tfa=tf.constant([1.0,2.0],name='a')b=tf.constant([2.0,3.0],name='b')result=tf.add(a,b,name='add')prin...原创 2018-03-30 11:27:59 · 488 阅读 · 0 评论 -
Tensorflow: 会话。Session()与InteractiveSession()
Tensorflow中利用会话的方式对已经设计的计算模型进行运算,而会话一般有两种种应用模式:tf.Session(),tf.InteractiveSession()第一种:方式一import tensorflow as tfa=tf.constant([1.0,2.0],name='a')# 创建一个会话。sess = tf.Session()# 使用这个创建好的会话来得到关心的运算的...原创 2018-03-30 12:52:21 · 876 阅读 · 0 评论 -
traingdx函数
traingdx函数traingdx是matlab的内置函数名。其描述为:带冲量(momentum)的梯度下降(gd, Gradient descent)和具有自适应学习速率(lr, learning rate)的反向传播(bp)的一种多层感知机(MLP,multi-layer perceptron)。其中参数设定如下:算法:梯度更新:dx = mc * dXprev + lr * mc * d...原创 2018-03-21 19:02:35 · 6888 阅读 · 0 评论 -
Tensorflow: tf.clip_by_value
tf.clip_by_value(t, clip_value_min, clip_value_max,name=None) tf.clip_by_value(A, min, max):输入一个张量A,把A中的每一个元素的值都压缩在min和max之间。小于min的让它等于min,大于max的元素的值等于max。import tensorflow as tfimport numpy as npA...原创 2018-04-03 11:03:38 · 361 阅读 · 0 评论 -
tensorflow: greater()
tf.greater(x, y, name=None) 返回:(x > y)的bool类型的张量 x: 一个张量。且必须是下列类型:types: float32, float64, int32, int64, uint8, int16, int8,uint16. y: 一个张量。且必须是与x类型一样。name: 节点的操作名字返回:(x > y)的bo...原创 2018-04-03 17:58:59 · 1614 阅读 · 0 评论 -
Tensorflow: tf.select()
官方api翻译:tf.select(condition, t, e, name=None) 根据condition选择t或e中的元素。t和e张量都必须具有相同的形状,并且输出也将具有该形状。 如果t和e是标量,那么condition tensor必须是标量。 如果t和e是向量或更高级别,那么条件必须是大小与t的第一维相匹配的向量,或者必须具有与t相同的形状。condition张量充当一个掩码,根据...原创 2018-04-03 18:14:40 · 4336 阅读 · 0 评论 -
tensorflow: loss函数
损失函数:loss = tf.reduce_sum(tf.select(tf.greater(y,y_), (y-y_) * loss_more, (y-y_) * loss_less))优化器:train_step = tf.train.AdamOptimizier(0.001).minimize(loss)原创 2018-04-03 18:28:58 · 645 阅读 · 0 评论 -
tensorflow: tf.train.exponential_decay函数
官方api翻译:tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None) 应用指数衰减的学习率。在训练模型时,经常建议在训练过程中降低学习速度。 该函数将指数衰减函数应用于提供的初始学习速率。它需要一个global_step值来计算衰减的学习...原创 2018-04-03 19:01:38 · 708 阅读 · 0 评论 -
matplotlib-legend 位置属性 loc 使用
在使用matplotlib画图时,少不了对性能图形做出一些说明和补充。一般情况下,loc属性设置为'best'就足够应付了plt.legend(handles = [l1, l2,], labels = ['a', 'b'], loc = 'best')或直接loc = 0plt.legend(handles = [l1, l2,], labels = ['a', 'b'], loc = 0)除'...原创 2018-04-19 11:22:00 · 129621 阅读 · 2 评论 -
matplotlib- legend- ncol:图示中文字的排版
对于:plt.legend(label, loc=1, ncol=4)直接看例子:import numpy as npimport matplotlib.pyplot as pltx = np.arange(1, 11, 1)label = ["First", "Second", "Third"]plt.plot(x, x * 2)plt.plot(x, x * 3)plt.pl...原创 2018-04-19 20:21:45 · 8355 阅读 · 1 评论 -
windows 10安装tensorflow版本(cpu版本)
直接开始正题:首先截至目前(2018.04.20),tensorflow官网推荐windows安装的python版本有两个:1.python3.5.22.python3.6.2当然越新越好,强烈推荐卸掉原来python版本,安装python3.6.2,这里推荐安装Anaconda3-5.0.0-Windows-x86_64.exe(对应的python版本也是)地址可点击上面超链接,或者直接地址下载...原创 2018-04-20 21:08:00 · 2353 阅读 · 0 评论 -
matlab2019a中深度学习网络的训练方法(Deep Learning Toolbox系列篇7)
在matlab2019a中,有一个trainNetwork的函数,可以直接对一个自己构建的深度学习网络模型及数据集进行训练拟合,下面讲一下具体的网络构建语法、数据集输入以及网络超参数的设定等问题。在官方的介绍文档里面,trainNetwork函数可以用来训练卷积神经网络,LSTM网络,BiLSTM网络,并用以分类或者回归类问题,您可以选择CPU或者GPU的方式进行训练,并行的训练方式要求勾选了m...原创 2019-05-09 15:25:32 · 23777 阅读 · 10 评论