李宏毅机器学习——学习笔记（7） Backpropagation and keras

最新推荐文章于 2020-08-11 14:26:54 发布
最新推荐文章于 2020-08-11 14:26:54 发布
阅读量344 收藏
点赞数
文章标签： keras Deep learning Backpropagation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37757740/article/details/88764811
版权
  • 全连接网络
    在这里插入图片描述
  • Deep network 其实是矩阵操作，权重矩阵乘以输入向量，加上bias向量即可

在这里插入图片描述

Backpropagation

在这里插入图片描述

在这里插入图片描述

keras

  • 感觉这个很形象
    在这里插入图片描述
  1. keras创建神经网络的步骤：

model = Sequential()
model.add(Dense(input_dim = 28* 28, output = 500))
model.add(Acivation(‘sigmoid ’))

在这里插入图片描述

  1. 定义损失函数在这里插入图片描述

  2. 进行训练

在这里插入图片描述

  1. 训练过程中，不会选取所有的样本的loss进行参数更新，而是选择大小为mini_batch的样本进行参数训练；将所有的mini_batch训练完成一次，为一个epoch；整个训练过程有10几个epoch。由于GPU的并行运算方式

在这里插入图片描述

在这里插入图片描述

  1. 利用keras进行模型效果评定和预测
    在这里插入图片描述
青芒·1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李宏毅机器学习笔记-7 反向传播算法（Backpropagation）
Memory
05-14 2751
Backpropagation-反向传播算法 1 前言 1.1 为什么要用 Backpropagation 在神经网络中的梯度下降算法和之前求线性回归方程中用的没有太大的区别，都是不断的计算微分，然后更新参数，最终找到一个最优解。 但是在神经网络中，有着大量可能多达上百万个的参数，所以传统的求微分方法行不通，计算量太大无法快速有效的求出微分。 1.2 链式求导法则（Chai...
7、【李宏毅机器学习（2017）】Backpropagation（反向传播算法）
Jimmyzqb的博客
08-28 5090
上一篇博客介绍了深度学习的历史和思想，本篇博客将介绍在神经网络计算中常用的反向传播算法。 目录 复习 Gradient Descent 链式求导法则 Backpropagation 反向传播算法介绍 前向传播算法和反响传播算法 复习 Gradient Descent 在学习反向传播算法之前重新回归一下梯度下降算法，在神经网络求解最优化Loss functio...
李宏毅机器学习------用Keras创建神经网络
zyuPp的博客
08-16 262
Keras介绍 Keras是用 Python 编写的高级神经网络 API，它能够以 TensorFlow, CNTK, 或者 Theano 作为后端运行 手写数字识别Demo 手写数字识别可以说是神经网络搭建的“ hello wolrd ”，我们从MNIST Data获取data做实验，这个数据集可以帮助我们去做一些小实验。 第一步：定义模型 我们想建立两层hidden layers，每层...
【机器学习】李宏毅机器学习-Keras-Demo-神经网络手写数字识别与调参
weixin_30756499的博客
04-30 389
参考： 原视频：李宏毅机器学习-Keras-Demo 调参博文1：深度学习入门实践_十行搭建手写数字识别神经网络 调参博文2：手写数字识别---demo（有小错误） 代码链接： 编程环境： 操作系统：win7 - CPU anaconda-Python3-jupyter notebook tersonFlow：1.10.0 Keras：2.2.4 背景： 视频里宝可梦大师提供的部分参数设...
Backpropagation
github_29374279的博客
03-01 567
Backpropagation@[深度学习, 向后传播算法]Backpropagation
视频学习笔记——李宏毅机器学习——P1，2
09-12
此为datawhale组队学习（李宏毅机器学习）学习笔记 是看视频做的原创笔记 此为第一天打卡
【李宏毅机器学习笔记】7、反向传播（Backpropagation）
01-06
【李宏毅机器学习笔记】1、...【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
李宏毅2021机器学习深度学习笔记PPT作业
09-05
李宏毅2021机器学习深度学习笔记PPT作业
李宏毅机器学习学习笔记
08-05
李宏毅机器学习学习笔记
【李宏毅ML笔记】14 Keras2.0 and 15 Keras Demo
wffzxyl的博客
02-28 1184
深度学习实验： 1 构建输入空间。如图像等转换为向量，多张图像向量构成一个矩阵。一般图像，将其每一个像素，作为一个维度，如28*28，拉成28*28维度的向量。 2 确定输出。如输出二分类，多分类，则定义个对应个数的维度的输出向量。 3 确定隐藏层。 keras： 声明：model = Sequential() 添加神经元层：mode.add(Dense
李宏毅机器学习三天速成~~~第九课~~~Keras
FaustoPatton的博客
02-10 447
1.Keras介绍 首先介绍一下为什么不用TensorFlow，这是因为TensorFlow是一个比较复杂且十分灵活的的toolKit，无法在短时间内学习会，Keras则是一个简单的工具，能够在短时间内学会。 下面是关于Keras的一些介绍和链接，Keras在希腊文中是牛角的意思。 使用Keras的学习心得，在他人的眼中和自己眼中的Keras是什么样子的 下面是一个关于Deep...
李宏毅ML lecture-8,9 Keras 练习
qq_26737815的博客
01-23 213
李宏毅 lecture-8,9 Keras 练习
机器学习 李宏毅 L36L37-RNN
okgagaga的博客
02-25 765
RNN介绍 这里介绍slot fillng，可以使用Feedforward network。对于输入的词汇，可以采用1 of N编码或者其他方式，输入后，进行归类操作。但是，由于网络没有记忆力，所以对于前后语句有关联的问题，很难解决。需要采用recurrent neural network。每一次hidden layer的输出会被存储，然后作为共同输入进行网络操作。也就是说，输入的顺序会影响输出...
李宏毅机器学习笔记-12.2 循环神经网络（Recurrent Neural Network-RNN）- part 2
Memory
05-17 626
Recurrent Neural Network(RNN) - 循环神经网络（part 2) 1 训练 RNN 1.1 定义 Loss 如上图中，每一个单词对应一个 Slot，将句子按顺序丢进 Network 中，产生一个输出 y，将每个 y 与预期的正确输出做 cross entropy，然后累加起来，就是最终的 Loss。（注意，顺序不能打乱）。 1.2 学习（le...
李宏毅机器学习笔记-12.3 循环神经网络（Recurrent Neural Network-RNN）- part 3
Memory
05-18 854
Recurrent Neural Network(RNN) - 循环神经网络（part 3) Gated RNN 0 前言 其实这节课的内容跟我其他这个系列的博客是不属于同一个课程的，但是因为是在 B 站看的视频，up 主可能不小心弄混了，于是我就也一起看了，多学点总没什么错。 虽然不是同一门课，但是确实是同一个老师，也是极其学习的内容，所以就当做一门课也没什么差别。这里给出这节课内容所...
李宏毅机器学习笔记(十)——循环神经网络(RNN)
Unique13的博客
08-11 722
文章目录一.时间序列模型与神经网络的改进 一.时间序列模型与神经网络的改进   本次我们以各种语言处理的问题为例。我们先考虑一个实体识别问题：即输入一句话，输出对应的每个字在这句话中属于哪种定义的实体。   如果我们套用以前的思路，首先我们要先确定我们的输入。当然输入有很多种处理方式，最简单和常用的就是One-hot词编码，把每个词对应c ...
2020李宏毅学习笔记——16.Recurrent Netural Network 下
weixin_44554337的博客
06-16 420
语音识别一定想到RNN，就像图片识别想到CNN一样。 英汉翻译有两种方法：一是语音识别，一是英汉对照直接training 1.RNN的learning 1.1loss function cross entropy是怎么算的呢：对每个输入xi, 其输出的yi 与相应的reference vector cross entropy之和就是loss function 注意：sequence不能打散，要先用x1 得到y1, 再用x2 得到y2. 1.2 training 用gradient descent做
李宏毅教授机器学习hw2用神经网络代码实现的解读
qq_39635835的博客
05-01 333
作业二 incoming prediction 任务：二分类问题 决定一个人的年收入是否达到50K Result Probabilstic Generative Model 在这个模型里面假设数据集属于高斯分布，采用两个种类shared_sigma的模型 训练数据直接将其中的10%当作valid，最后valid accuracy为0.843366, test accuracy为0.843867，结...
李宏毅机器学习笔记logic regression
最新发布
09-22
Logic Regression是一种用于分类问题的机器学习算法。它使用一条直线作为边界来区分两个类别。然而，如果数据不能被一条直线分割，Logic Regression就无法处理。为了解决这个问题，我们可以对基向量进行变形，从而...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值