机器学习五：Deep Learning深度学习1

最新推荐文章于 2022-08-14 00:20:39 发布
最新推荐文章于 2022-08-14 00:20:39 发布
阅读量216 收藏
点赞数
文章标签： 神经网络 算法 卷积 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42744909/article/details/108961399
版权

前情提要

由逻辑回归算法我们引出了深度学习，请参考https://blog.csdn.net/weixin_42744909/article/details/108954890

深度学习

深度学习的历史

在这里插入图片描述

Three Steps for Deep Learning深度学习三步骤

在这里插入图片描述

step1：Neural Network

在这里插入图片描述

概念

深度学习网络分为输入层，隐藏层和输出层
在这里插入图片描述

Deep的概念

Deep = Many hidden layers，deep就是说隐藏层有很多层
在这里插入图片描述
在这里插入图片描述

神经网络的运算

一个神经元

在这里插入图片描述

多个神经元

一个神经元的输出是下一个神经元的输入
在这里插入图片描述
在这里插入图片描述

输出层

输出层需要特征提取，逻辑回归中提到，多层次分类中提到输出前需要使用SoftMax函数进行强化差异
在这里插入图片描述

softmax

在这里插入图片描述

实例：

识别手写数字：有颜色的为1，没有颜色的为0
在这里插入图片描述
在这里插入图片描述

需要考虑的问题：

1.神经网络有多少层，每层有多少个神经元？
试验+评估error+直觉

2.神经结构可以自动确认吗？
可以，进化人工神经网络
3.我们可以设计网络结构吗？
可以，例如以存在的神经网络结构CNN（卷积神经网络）

Step 2: goodness of function

一个输入loss：
在这里插入图片描述
多个输入loss：
在这里插入图片描述
在函数集中找到一个能使总损失L最小化的函数，进而找到找到减少Loss的网络参数(w,b)

Step 3: pick the best function选择最优的函数

梯度下降法
在这里插入图片描述
但是神经元比较大多的时候，偏微分非常难求

Backpropagation

使用Backpropagation反向传播来求解偏微分
后续会详细讲解

Jovan.qiao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
tensorflow2.0卷积神经网络实战笔记
weixin_44877390的博客
08-12 1227
卷积神经网络 本文参考《TensorFlow2深度学习》 背景知识 1、深度学习的深度是指网络的层数较深，一般有5层以上。1~4层神经网络称为浅层神经网络。浅层神经网络不能很好的提取数据的高层特征，表达能力一般，很快被1990年代新提出的支持向量机（SVM）所超越。2006年，Hinton大佬提出了一种逐层预训练的算法，可以有效的初始化DBN网络，从而使得训练大规模、深层数（上百万的参数量）的神经网络成为可能。深度学习的概念被首次提出。深度学习和神经网络本质上指代基本一致，深度学习更侧重于深层次的神经网络的
神经网络中隐藏层的作用,深度神经网络隐藏层数
super339的博客
08-20 5918
循环核可以有两个输入（来自样本的输入x、来自上一时间步的激活值a）和两个输出（输出至下一层的激活值h、输出至本循环核下一时间步的激活值a），输入和输出的形式有很多变化，题主想了解可以上B站搜索“吴恩达深度学习”其中第五课是专门对RNN及其拓展进行的讲解，通俗易懂。输入层-卷积层-降维层-卷积层-降维层--....--隐藏层-输出层简单来说，原来多层神经网络做的步骤是：特征映射到值。而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。
Deep-Learning-Assignments-and-projects:在整个深度学习专业领域中完成的作业（一系列五门相互关联的课程，涵盖了深度学习中的一系列主题和应用，例如神经网络，CNN，RNN，残差网络，Inception网络，YOLO，注意力模型，NLP，单词嵌入，GRU ，LSTM等），由Andrew Ng教授
05-01
深度学习作业和项目 在整个深度学习专业领域中完成的作业（一系列五门相互关联的课程，涵盖了深度学习中的一系列主题和应用，例如神经网络，CNN，RNN，残差网络，Inception网络，YOLO，注意力模型，NLP，单词嵌入，GRU （例如LSTM等），请使用Jupyter Ipython笔记本打开文件。 （通过Anaconda Navigator访问Jupyter笔记本）
深度学习——ResNet超详细讲解，详解层数计算、各层维度计算
热门推荐
图南zzz
01-10 7万+
十六、残差神经网络(ResNet) 16.1 缘由 在ResNet之前的网络层数都不是很高，14年的VGG网络才只有19层，但是ResNet的网络层数达到了惊人的152层。许多人会有一个直观的印象，也就是网络层数越多，训练效果越好，但是这样的话VGG网络为什么不采取152层而是采用19层呢？其实是因为训练模型的准确度不一定和模型层数呈真相关的关系。因为随着网络层数的加深，网络准确需出现饱和，会出现下降的现象。 上图中明显可以看出56层的网络比20层网络的训练效果要差，许多人第一反应就是过拟合，但事实并不如
神经网络模型可视化工具,神经网络模型可视化图
m0_54846070的博客
08-14 416
BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下：1、从训练集中取出某一样本，把信息输入网络中。2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。3、计算网络实际输出与期望输出的误差。...
DeepLearning深度学习教程_第二章_机器学习基础.pdf
08-23
《DeepLearning深度学习教程》第二章“机器学习基础”涵盖了机器学习的核心概念和技术。本章首先介绍了机器学习的基本理解，包括神经网络的定义，不同类型的机器学习算法，如监督学习、非监督学习、半监督学习和弱...
Fundamentals of Deep Learning 深度学习机器
03-25
Fundamentals of Deep Learning 深度学习基础 TensorFlow语言
deeplearning-ai-books-深度学习资源包
最新发布
05-10
深度学习（Deep Learning，简称DL）是机器学习（Machine Learning，简称ML）的一个子集，也是人工智能（Artificial Intelligence，简称AI）领域的一个重要分支。它被引入机器学习，旨在使机器更接近于实现人工智能的...
Deeplearning深度学习笔记v5.53
08-31
Deeplearning深度学习笔记v5.53 吴恩达机器学习笔记更新--在这 5 堂课中，学生将可以学习到深度学习的基础，学会构建神经网络，并用在包括吴 恩达本人在内的多位业界顶尖专家指导下创建自己的机器学习项目。...
deeplearning深度学习笔记
12-26
" Deeplearning深度学习笔记" 本文档是吴恩达老师深度学习课程(deeplearning.ai)的笔记，旨在帮助已有一定基础的计算机专业人士掌握深度学习技术。课程涵盖深度学习的基础知识，神经网络构建，卷积神经网络(CNN)、...
深度学习基础篇
qq_42873049的博客
03-29 1348
1. 深度学习基本介绍和基本应用 1.1 神经网络与深度学习 神经网络由输入层，隐藏层，输出层组成，其中的隐藏层数量大约在5到6层，而深度学习可以理解成与神经网络相近的东西，但深度学习的隐藏层层数可以很多层。 1.2 深度学习的基本应用 1.3 深度学习的知识框架 2. 深度学习的发展背景和人物介绍 3. 机器学习基础 3.1 训练数据，难证数据，测试数据 3.2 ...
深度学习网络结构
Silence_zkn的博客
09-25 525
Lenet 一共有五层，两层卷积加三层全连接，架构如下： 卷积部分：（均无padding）   输入 kernel size stride kernel个数 输出 池化 第一层卷积 32*32*3 ...
李宏毅机器学习课程自测练习题
xiongxyowo的博客
01-01 4万+
2022.1.1 13:25 施工中 目录(计划包含以下内容)： 简介 线性分类与感知机 数学基础 卷积神经网络 循环神经网络 自注意力机制 Transformer 自监督学习 自编码器 对抗生成网络 可解释AI与对抗攻击 领域自适应 深度强化学习 PART1. 序言 人工获得声音的特征与深度学习获得特征相比，以下哪个说法是正确的？ A. 人获得的声音特征一般更好，可解释性性强 B. 通过人工和卷积神经网络结合的方式获得特征综合性能更好 C. 深度学习直接处理声音波形数据获得的特征更全面，因此对声音
深度学习框架层次结构
LaiCheng的博客
01-11 1622
本文介绍目前主流的深度学习框架层次结构，包括TensorFlow2、PyTorch、MindSpore TensorFlow层次结构 TensorFlow2的层次结构为：硬件层，内核层，低阶API，中阶API，高阶API。硬件层:TensorFlow所支持的硬件如CPU，GPU，TPU。内核层：内核是C++ 实现的，包括函数库，本地运行时，分布式运行时，OP定义及其Kernel的实现等。低阶API：低阶API也被称为算子，封装了C++内核的低阶API，主要包括各种张量，算子，计算图，自动微分等。如t
深度学习网络结构大全
xiaotiig的博客
10-25 4139
1 Lenet 7层：卷积+下采样+卷积+下采样+全连接+全连接+全连接 可以很好的进行数字识别 第一次运用卷积神经网络 参考：(39条消息) 详解深度学习之经典网络架构（一）：LeNet_chenyuping333的博客-CSDN博客_lenet网络结构详解 https://blog.csdn.net/chenyuping333/article/details/82177677 1 Alexnet 5层卷积+3层全连接 参考： (39条消息) 图像识别-AlexNet网络结构详解_算法之美-CSDN博
Deep Learning中的层结构
peishuti6791的博客
04-13 654
在Deep Learning中有不同类型的网络结构，不同的网络有不同的应用范围，这些都是与其结构和设计思路相关的。 最常见的网络之一是CNN(Convolutional Neural Network), 在最近几年席卷计算机视觉等相关领域，因为他强大的特征表述能力和对图像处理的得天独厚优势，CNN的设计和训练也是被研究讨论最多的一个话题。 题主提到深度网络中层结构的设计和layer中节点个数的确定，我在这里姑且以CNN的网络结构设计为例讨论。 首先有一些常识知识是在设计一个CNN时需要知道的，我先简单介绍
深度学习入门——加法层（Addlayer）
小杨的博客
09-15 2222
上游的值直接传给下游 class ADDlayer: def __init__(self): pass # 什么也不运行 def forward(self, x, y): out = x + y return out def backward(self, dout): dx = dout ...
深度学习模型各层参数数目对于性能的影响
u014114990的专栏
02-19 6964
深度学习模型各层参数数目对于性能的影响 北京林业大学2015,12,30号发表在计算机科学与应用的杂志上， 中文期刊 论文地址：http://image.hanspub.org:8080/pdf/CSA20151200000_79830787.pdf   本文基于卷积神经网络和递归卷积神经网络模型探究了深度学习网络不 同层级间参数分布对网络性能的影响，在CIFAR-10、
深度学习系列6：网络基本结构
kittyzc的博客
05-22 1022
1. 一些技巧 输入数据标准化：把不同级别的数据全都变到-1~1之间（或者0 ~1之间）。 目标函数正则化：加入复杂度惩罚，防止过拟合。 2. CNN 参数是卷积核，每个通道可以有一个。 首先是1个通道上的3*3的卷积核 然后是加权求和。 3. 激活和池化 这两个层都没有参数。 激活函数将线性函数转化为非线性，这样可以表达任意的函数。 池化：压缩特征，增强泛化能力。 4. flatten层和softmax flatten没有参数，softmax参数巨多。 将长宽和channel统统压成1维数组，左边
吴恩达-Deeplearning深度学习笔记
11-25
“吴恩达-Deeplearning深度学习笔记，包括课程概述、深度学习基础知识、神经网络、卷积神经网络(CNN)、递归神经网络(RNN)、长短期记忆(LSTM)等内容，以及使用Python和TensorFlow框架的实操项目。” 吴恩达的深度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值