深度学习-Tensorflow
文章平均质量分 91
Tensorflow框架项目
哎呦-_-不错
读书太少而想太多
展开
-
深度学习2.0-普通BP神经网络
文章目录1.前言2.问题描述3.BP神经网络的Tensorflow实现参考: BP神经网络1.前言BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络,是目前应用最广泛的神经网络。BP神经网络,系统解决了多层神经网络隐含层连接权学习问题。从结构上讲,BP网络具有输入层、隐藏层和输出层;从本质上讲,BP算法就是均方误差为目标函数,采用梯度下降法来计算目标函数的最小值。2.问题描述使用BP神经网络识别MNIST手写数字数据集3.BP神经网络的Tensorflow实现在Tensorflo原创 2020-11-10 16:06:41 · 599 阅读 · 0 评论 -
深度学习2.0-神经网络
文章目录1.BP神经网络基本原理2.一个三层BP网络1.BP神经网络基本原理利用输出后的误差来估计输出层的直接前导层的误差,再用这个误差估计更前一层的误差,如此一层一层的反传下去,就获得了所有其他各层的误差估计。2.一个三层BP网络...转载 2020-11-10 13:37:54 · 319 阅读 · 1 评论 -
深度学习TF—14.WGAN原理及实战
文章目录一、WGAN原理1.JS散度的缺陷2.Wasserstein 距离3.损失函数二、WGAN实战1.数据集的加载2.构建网络3.全部代码一、WGAN原理 WGAN 算法从理论层面分析了GAN 训练不稳定的原因,并提出了有效的解决方法。那么是什么原因导致了GAN 训练如此不稳定呢?WGAN 提出是因为JS 散度在不重叠的分布????和????上的梯度曲面是恒定为0 的。当分布????和????不重叠时,JS 散度的梯度值始终为0,从而导致此时GAN 的训练出现梯度弥散现象,参数长时间得不到更新,网原创 2021-03-01 17:16:40 · 2180 阅读 · 0 评论 -
深度学习TF—13.对抗生成网络—GAN
文章目录引言一、GAN原理1.损失函数2.GAN算法3.纳什平衡固定 G,D 会收敛到什么最优状态????∗?在 D 达到最优状态????∗后,G 会收敛到什么状态?4.GAN训练难题二、GAN变体1.DCGAN2.CycleGAN3.WGAN引言 在原始的GAN 论文中,Ian Goodfellow 使用了一个形象的比喻来介绍GAN 模型:生成器网络G 的功能就是产生一系列非常逼真的假钞试图欺骗鉴别器D,而鉴别器D 通过学习真钞和生成器G 生成的假钞来掌握钞票的鉴别方法。这两个网络在相互博弈的过程中原创 2021-03-01 16:15:40 · 1261 阅读 · 0 评论 -
深度学习TF—12.Auto-Encoders(AE)与Varational Auto Encoder(VAE)实战
文章目录一、Auto-Encoders(AE)实战二、Varational Auto Encoder(VAE)实战一、Auto-Encoders(AE)实战导入模块# 图片的重建import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'# 使用GPU,设置内存自动增长from tensorflow.compat.v1 import ConfigProtofrom tensorflow.compat.v1 import InteractiveSessi原创 2021-02-28 23:15:12 · 264 阅读 · 0 评论 -
深度学习TF—11.Auto-Encoders自编码器
文章目录一、自编码器原理二、Auto-Encoders的变种1.Denoising AutoEncoders2.Dropout AutoEncoder3.Adversarial AutoEncoders(AAE)4.Varational Auto Encoder-VAE一、自编码器原理 有监督学习的神经网络,总体上可以看做是特征降维的过程。把原始的高维输入向量????变换到低维的变量yyy。特征降维在机器学习中有广泛的应用,最常见的降维算法有主成分分析法(Principal component原创 2021-02-28 22:18:36 · 2689 阅读 · 0 评论 -
深度学习TF—10.循环神经网络RNN及其变体LSTM、GRU实战
文章目录一、时间序列数据的表示方法二、Embedding层三、单层RNN与多层RNN1.单层RNN2.多层RNN四、RNN案例—情感分类实战1.单层RNN2.多层RNN3.SimpleRNN—高级封装五、LSTM案例—情感分类实战1.LSTMCell2.LSTM—高级封装六、GRU案例—情感分类实战1.GRUCell2.GRU一、时间序列数据的表示方法 循环神经网络RNN是对具有时间先后顺序的数据做处理的。 如果数据类型为结构化数据时,可以由[????, ????, ????]的张量才能表原创 2021-02-28 17:51:23 · 713 阅读 · 0 评论 -
深度学习TF—9.循环神经网络RNN及其变体GRU、LSTM
文章目录引言一、RNN神经元结构(1)二、RNN神经元结构(2)三、循环神经网络的类型四、单向循环神经网络的局限五、长短时记忆网络LSTM六、Gated Recurrent Unit—GRU引言 虽然全连接神经网络理论上只要训练数据足够,给定特定的x,就能得到希望的y,但是全连接神经网络只能处理独立的输入,前一个输入和后一个输入是完全没有关系的。针对某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的情况,此时,就需要用到循环神经网络RNN,该神经网络能够很好的处理序列信息。原创 2021-02-27 22:17:05 · 1144 阅读 · 0 评论 -
深度学习TF—8.经典CNN模型—LeNet-5、VGG13、AlexNet、GoogLeNet、ResNet、DenseNet
文章目录一、LeNet-51.LeNet-5对cifar10分类实战二、VGG131.VGG13对cifar10分类实战三、AlexNet四、GoogLeNet五、ResNet—深度残差网络1.ResNet18实战cifar10—自定义六、DenseNet网络一、LeNet-5 1998年,LeCun发布了LeNet-5网络架构,权值共享这个词最开始是由LeNet-5模型提出来的。虽然现在大多数人认为,2012年的AlexNet网络是深度学习的开端,但是CNN的开端可以追溯到LeNet-5模型。原创 2021-02-26 11:45:14 · 787 阅读 · 1 评论 -
深度学习TF—7.卷积神经网络CNN
文章目录一、卷积神经网络概述一、卷积神经网络概述 卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它由若干卷积层和池化层组成。CNN的基本结构由输入层、卷积层(convolutional layer)、池化层(pooling layer)、全连接层及输出层构成。卷积层和池化层一般会取若干个,采用卷积层和池化层交替设置,即一个卷积层连接一个池化层,池化层后再连接一个卷积层,依此类推。由于卷积层中输出特征图的每个神经元与其输入进行局部连接,并通过对应的连原创 2021-02-24 22:00:47 · 1456 阅读 · 0 评论 -
深度学习TF—6.神经网络过拟合及reduce overfitted
文章目录一、过拟合与欠拟合简述reduce overfitting 手段二、降低过拟合—交叉验证1.train_val划分2.train_val_test划分3.K—fold 交叉验证4.StratifiedKFold—分层的K折交叉和验证5.TimeSeriesSplit—时序数据分割三、正则化减轻过拟合1.one-by-one regularization2.Flexible regularization3.mnist数据集实战四、动量与学习率衰减1.momentum—动量2.learning rate原创 2021-02-24 16:44:10 · 526 阅读 · 0 评论 -
深度学习TF—5.tf.kears高层API
文章目录一、metrics1.实战二、compile&fit&Evaluate&Predict1.compile—编译模型2.fit—训练模型3.Evaluate—评估模型4.predict—预测三、自定义层或网络1.keras.Sequential2.keras.Model / keras.layers.Layer3.自定义层4.自定义网络5.自定义网络实战—手写数字识别6.自定义网络实战—CIFAR10四、模型的加载与保存1.save / load weights2.save /原创 2021-02-24 10:43:39 · 280 阅读 · 0 评论 -
深度学习TF—4.随机梯度下降
文章目录一、梯度下降简介1.梯度2.如何搜索3.利用tensorflow自动求解梯度并自动更新参数4.案例—二阶导自定义二、激活函数及梯度1.sigmoid函数及其梯度2.Tanh函数及其梯度3.ReLU函数及其梯度4.Leaky ReLU函数及其梯度5.激活函数选择总结三、损失函数及梯度1.MSE—均方误差2.交叉熵损失函数四、感知机及梯度求解1.单输出感知机及梯度2.多输出感知机及梯度3.多层感知机及梯度4.多层感知机案例五、随机梯度下降实战1.函数优化实战2.手写数字问题实战3.可视化实战—Tenso原创 2021-02-23 21:22:06 · 617 阅读 · 0 评论 -
深度学习TF—3.神经网络全连接层
文章目录一、数据集的加载1.tf.data.Dataset.from_tensor_slices()案例2.keras.datasets—小型常用数据集的API接口二、张量实战三、一、数据集的加载1.tf.data.Dataset.from_tensor_slices()描述它的作用是切分传入Tensor的第一个维度,生成相应的dataset。将输入的张量的第一个维度看做样本的个数,沿其第一个维度将tensor切片,得到的每个切片是一个样本数据。实现了输入张量的自动切片。输入数据可以是nump原创 2021-02-23 10:20:32 · 473 阅读 · 0 评论 -
深度学习TF—2.TensorFlow2高阶操作
文章目录一、合并与分割1. tf.concat-合并-原有的维度上进行累加2.tf.stack-合并-创造一个新的维度3.tf.unstack-分割4.tf.split-分割二、数据统计操作1.tf.norm—张量的范数2.tf.reduce_max/min/mean/sum—张量的最大值、最小值、平均值、和3.tf.argmax/argmin—张量最大值的位置与最小值的位置4.tf.equal—张量的比较5.tf.unique—张量的独特值三、张量排序1.tf.sort-排序/tf.argsort-排序并原创 2021-02-22 14:17:05 · 503 阅读 · 0 评论 -
深度学习TF—1.TensorFlow2基本操作
文章目录一、Tensorflow的数据类型1.简单创建Tensor2.Tensor的属性3.检查数据类型4.类型的转换5.tf.Variable二、创建Tensor及应用场景1.创建Tensor2.Tensor的应用场景三、索引与切片1.Basic indexing2.Numpy-style indexing3. start:end-单冒号4.省略号…代替多个冒号5.Selective Indexing四、维度变换1.tf.reshape2.tf.transpose转置3.tf.expend_dims增加维原创 2021-02-22 10:38:16 · 464 阅读 · 0 评论