Tensorflow2.0 入门与实战学习笔记（一、二）-优化函数、学习率、反向传播

最新推荐文章于 2022-12-18 16:01:03 发布
最新推荐文章于 2022-12-18 16:01:03 发布
阅读量402 收藏
点赞数
分类专栏： # Tensorflow 机器学习 # 神经网络 文章标签： Tensorflow 优化函数 学习率、反向传播
⭐️我叫恒心，一名喜欢书写博客的研究生在读生。 原创不易~转载麻烦注明出处
本文链接：https://blog.csdn.net/qq_37457202/article/details/107761309
版权

目录

理论知识

1.1多层感知器​

1.2梯度下降法

1.3 学习速率-超参数（手工可配置）

1.4 反向传播算法

1.5 优化函数

RMSprop

1.6 网络优化与超参数的选择

1.6.1 如何选择超参数

采用dropout防止过拟合

为什么说Dropout可以解决过拟合？

1.7 实战

理论知识

1.1多层感知器

1.2梯度下降法

1.3 学习速率-超参数（手工可配置）

不合适的学习速率

局部极值点

1.4 反向传播算法

1.5 优化函数

  • SGD 随机梯度
  • adam优化器

常见参数

RMSprop

代码实现

1.6 网络优化与超参数的选择

1.6.1 如何选择超参数

那么如何提高网络的拟合能力

注意：
单层的神经元个数，不能太小，太小的话，会造成信息瓶颈，使得模型欠拟合

13W个可训练参数

结果提高了

 

从正确率来看

  • 欠拟合：测试和训练数据分都低
  • 过拟合：在测试数据上得分比较低，在训练数据分比较

采用dropout防止过拟合

随机森林和集成方法

AlexNet论文中提到

为什么说Dropout可以解决过拟合？

参数选择

因此我们参数训练原则

然后，抑制过拟合---容量上没问题

抑制过拟合 最好的办法是增加训练数据

调整参数-经验

构建网络总原则

总原则：保证神经网络容量足够拟合数据

一、增大网络容量，直到过拟合

二、采取措施抑制过拟合

三、继续增大网路容量，直到过拟合

1.7 实战

如何在网络中添加droupout层

减少网络规模也是一种方法

 

忆_恒心
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
用Tensorflow2搭建经典的卷积神经网络（LeNet,AlexNet,VGG16,ResNet50）
QianLong_的博客
06-18 1316
最近看了卷积神经网络的一些经典论文，用Tensorflow2进行了复现，其中包括LeNet,AlexNet,VGG16,ResNet50,并且在数据集上进行了测试，能够正常训练，结果表明搭建的没有问题。 下面进入正题： import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers import numpy as np import matplotlib.pyplot as plt %matpl
TensorFlow 2.0深度学习算法实战---第7章 反向传播算法.rar
03-28
TensorFlow 2.0深度学习算法实战---第7章 反向传播算法 本章我们将从理论层面学习神经网络中的核心算法之一：反向传播算法(Backpropagation，BP)。实际上，反向传播算法在 1960 年代早期就已经被提出，然而并没有...
Tensorflow2——卷积神经网络的搭建
weixin_45392405的博客
05-09 2005
Tensorflow2卷积神经网络的搭建卷积神经网络Fasion_minst识别卷积神经网络搭建代码 卷积神经网络 1、卷积神经网络 CNN最大的特点就是在于卷积的权值共享，利用空间结构减少学习的参数量，防止过拟合的同时减少计算量。在卷积神经网络中，第一个卷积层直接接受图像像素级的输入，卷积之后传给后面的网络，每一层的卷积操作相当于滤波器，对图像进行特征提取，原则上可保证尺度，平移和旋转不变性。 一般的卷积网络包含一下操作： （1）卷积。图像通过不同卷积核卷积并且加偏置（bias），提取局部特征，每一个卷积
tensorflow2.0之卷积神经网络
qq_44971458的博客
07-04 2115
tf.keras实现卷积神经网络 Keras 是一个用 Python 编写的高级神经网络 API，它能够以 TensorFlow, CNTK, 或者 Theano 作为后端运行。 Keras可以很明确的定义了层的概念，反过来层与层之间的参数反倒是用户不需要关心的对象，所以构建神经网络的方法对于普通开发者来说，相对tensorflow，Keras更易上手。 并且Keras也是tensorflow官方在tensorflow2.0开始极力推荐使用的。 卷积神经网络（Convolutional Neural Ne
tensorflow2函数式API搭建神经网络
qq_41472590的博客
11-19 1023
简单的入门级别神经网络搭建 文章目录框架概念神经网络代码示例注解 框架概念 tensorflow是当今深度学习的主要平台之一，其由谷歌团队开发。现在，keras与tensorflow高度集成在一起，我们的每一段keras代码可运行在TF后台。另外，通过TensorFlow，keras可以在CPU以及GPU上无缝运行。 神经网络 一，深度神经网络是机器学习(ML, Machine Learning)领域中一种技术。一般全连接的神经网络包括了输入层，输出层以及隐藏层几个部分。 二、卷积神经网络卷积神经
TensorFlow(2) 使用TF构建多层感知机预测MNIST数据集
zhangyugebb的博客
09-01 215
import tensorflow as tf import tensorflow.examples.tutorials.mnist.input_data as input_data import matplotlib.pyplot as plt #读入数据---------------------------------------------------------------------...
Google老师亲授TensorFlow2.0入门到进阶（教学视频、笔记）
05-05
Google老师亲授TensorFlow2.0入门到进阶（教学视频、笔记） 第1章 Tensorflow简介与环境搭建 第2章 Tensorflow keras实战 第3章 Tensorflow基础API使用 第4章 Tensorflow dataset使用 第5章 Tensorflow Estimator...
TensorFlow2.0入门学习笔记(2)——Matplotlib数据可视化
12-20
主要学习的资料西安科技大学：神经网络与深度学习——TensorFlow2.0实战，北京大学：人工智能实践Tensorflow笔记博客从tf常用的库开始，需要学习python基础的朋友推荐菜鸟教程 TensorFlow2.0学习笔记(2)——...
深度学习（基于Tensorflow2.0）学习笔记——Day2
01-20
昨天已经把关于深度学习的一些基础知识简要回顾了一下，那么从今天开始就要正式开始实战了。正所谓“万事开头难”，但如果不迈出第一步就永远无法知道自己究竟能不能完成。所以不要望而生畏，更不能眼高手低，放低...
深度学习与TensorFlow 2入门实战-视频教程网盘链接提取码下载.txt
最新发布
10-25
《深度学习与TensorFlow 2入门实战》是一门适合初学者的课程，旨在帮助学员快速入门深度学习和TensorFlow 2框架。课程内容涵盖了深度学习基础知识、TensorFlow 2的安装与配置、神经网络的构建与训练等方面。通过本...
AlexNet网络学习
qq_32363469的博客
10-24 771
论文：《ImageNet Classification with Deep Convolutional Neural Networks》 全文翻译：https://blog.csdn.net/hongbin_xu/article/details/80271291 参考资料：https://blog.csdn.net/qq_25800609/article/details/86509645#33_2...
《TensorFlow2.0》二、卷积神经网络在TensorFlow2.0中的应用 part 1
Tian121381的博客
03-27 809
Python版本： Python3.x 运行平台： Windows IDE： jupyter / Colab 转载请标明出处：https://blog.csdn.net/Tian121381 目录一、前言二、猫狗二分类模型用卷积神经网络处理更复杂的图像从零开始建立一个小模型，精度达到〜72％数据预处理训练运行模型补充np.vstack(）函数可视化中间层评估模型的准确性和损失 一、前言 在上一...
基于 Tensorflow 2.x 实现多层卷积神经网络，实践 Fashion MNIST 服装图像识别
小毕超博客
12-18 1296
并且每三个周期保存一次权重，防止意外停止后继续训练，最后保存了。的训练模型，方便后面进行测试预测效果。标签是整数数组，介于。构建多层卷积神经网络，在。上面搭建的模型，训练后会在。数据集更多样化，比常规。张图片，验证集的比例为。数据集，该数据集包含。从训练日志中，可以看到。
Learning Tensorflow(2)--- 深度神经网络
AI.PLAY
07-17 588
在构建深度神经网络时候，不只需要构建网络的主体部分，还需要定义损失函数，网络优化操作，以及训练过程， loss及精确度输出。 损失函数 神经网络模型的效果以及优化的目标是通过损失函数来定义的。 交叉熵 交叉熵用于评判两个概率分布之间的距离。是分类问题中使用比较广的一种损失函数。 给定两个概率分布p和q,则通过q来表示p的交叉熵为 H...
TensorFlow2学习九、实现基础CNN
编程圈子-谢厂节的博客
11-27 2078
一、简介 本文实现基础Convolutional Neural Network (CNN)，数据集使用 CIFAR images。 卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题，它通过一系列方法，将数据量庞大的图像识别问题不断降维，最终使其能够被训练。CNN最早由Yann LeCun提出并应用在手写字体识别上（MINST）。LeCun提出的网络称为LeNet，其网络...
Tensorflow2.0 卷积神经网络可视化 （一）中间特征层可视化
Forrest97的博客
05-02 9566
目录标题中间特征层可视化导入ImageNet VGG16网络加载任一图片构建多特征层输出模型所有中间层的显示参考 中间特征层可视化 导入ImageNet VGG16网络 导入基础包 import numpy as np import matplotlib.pyplot as plt import tensorflow as tf 导入ImageNet VGG16网络 VGG16_model = ...
TensorFlow2.0 学习笔记（三）：卷积神经网络（CNN）
种树最好的时间是10年前，其次是现在！！！
10-15 6817
专栏——TensorFlow学习笔记 文章目录专栏——TensorFlow学习笔记一、神经网络的基本单位：神经元二、卷积神经网络（CNN）三、基于 tf2.0 实现CNN四、使用 Keras 中预定义的经典卷积神经网络结构 一、神经网络的基本单位：神经元 如果把神经网络的基本单位：神经元和真实的神经细胞（神经元）进行比较的话，会发现在结构上是有一些类似的。 神经网络的神经元示意图如下： 神经细胞...
目标检测（七）一篇文章5分钟搞懂卷积神经网络——基于tensorflow2.0训练Alexnet网络实践
qq_40959462的博客
10-22 1319
CIFAR-10是由Hinton的学生Alex Krizhevsky和Ilya Sutskever整理的一个用于识别普适物体的小型数据集。一共包含10个类别的RGB彩色图片：飞机、车、鸟类、猫、鹿、狗、蛙类、马、船和卡车。图片的尺寸为32×32 ，数据集中一共有50000张训练图片和10000 张测试图片。CIFAR-10的图片样例如图所示。CIFAR-10是3通道的彩色RGB图像，而MNIST是灰度图像。CIFAR-10的图片尺寸为32×32， 而MNIST的图片尺寸为28×28，比MNIST稍大。
tensorflow2.0实现Deep & Cross Network(DCN)
zhong_ddbb的博客
08-15 1969
本文基于tensorflow2.0实现Deep & Cross Network(DCN)结构，数据集：Criteo 的500000条数据子集。 预处理 必要的库： import numpy as np import pandas as pd import tensorflow as tf from tensorflow.keras.layers import * from tensorflow.keras.models import Model import tensorflow.keras.bac
学习笔记(03):TensorFlow 2.0 三大项目实战-调用U-NET模型
05-31
我们还定义了一个conv_block函数来简化代码。 使用这个实现代码，我们可以通过以下方式调用U-NET模型： ```python model = unet() ``` 这将返回一个U-NET模型的实例，我们可以使用该实例来进行训练和预测。 希望...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

忆_恒心

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值