Deep Learning
文章平均质量分 82
《Deep Learning》读书笔记,书籍介绍地址:
https://ai.renyuzhuo.cn/books/DeepLearning/
我是任玉琢
这个作者很懒,什么都没留下…
展开
-
LSTM - 长短期记忆网络
循环神经网络(RNN)人们不是每一秒都从头开始思考,就像你阅读本文时,不会从头去重新学习一个文字,人类的思维是有持续性的。传统的卷积神经网络没有记忆,不能解决这一个问题,循环神经网络(Recurrent Neural Networks)可以解决这一个问题,在循环神经网络中,通过循环可以解决没有记忆的问题,如下图:看到这里,你可能还是不理解为什循环神经网络就可以有记忆。我们把这个图展开:可以看出,我们输入 X0X_0X0 后,首先警告训练,得到输出 h0h_0h0,同时会把这个输出传递给下一次训原创 2021-02-08 22:04:35 · 632 阅读 · 0 评论 -
三种梯度下降算法的区别(BGD, SGD, MBGD)
前言我们在训练网络的时候经常会设置 batch_size,这个 batch_size 究竟是做什么用的,一万张图的数据集,应该设置为多大呢,设置为 1、10、100 或者是 10000 究竟有什么区别呢?# 手写数字识别网络训练方法network.fit( train_images, train_labels, epochs=5, batch_size=128)批量梯度下降(Batch Gradient Descent,BGD)梯度下降算法一般用来最小化损失函数:把原始的数据网络原创 2021-01-21 01:30:49 · 1431 阅读 · 0 评论 -
数据降维:主成分分析法
前言什么叫做主成分分析法,我们先看一张图椭圆的图,如果让你找一条线,使得椭圆上所有点在该线上映射的点最分散,保留下来的信息最多,你会怎么选择这条线?若是下图,会选择水平线,这是用一维的方式去尽可能多的表示二维的数据,那么多维的数据呢,是否可以用较低维的数据尽可能表示。如何用二维的平面去尽可能表示一个椭球面呢?思想主成分分析法是一种统计方式,简化数据的方式,是一种线性变换,把数据变换到新的坐标系中,使得任意投影的第一大方差映射到第一主成分上,第二大方差映射到第二主成分上。如果舍弃高维的主成分,一般原创 2021-01-19 00:39:16 · 1671 阅读 · 0 评论 -
Sigmoid 函数
前言Sigmoid 函数(Logistic 函数)是神经网络中非常常用的激活函数,我们今天来深入了解一下 Sigmoid 函数。函数形式函数图像代码实现代码运行:Colabimport matplotlib.pyplot as pltimport numpy as npimport mathx = np.linspace(-10, 10, 100)z = 1 / (1 + np.exp(-x))plt.title("Sigmoid")plt.plot(x, z)plt.xl原创 2021-01-07 23:59:07 · 19067 阅读 · 0 评论 -
深度学习中的正则化(一)
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。本文我们聊一聊深度学习中的正则化。深度学习中的正则化一般来说,深度学习所要做的事情是用已有的训练集训练一个网络模型,然后针对新的数据给出预测,我们期望我们的模型在训练集和测试集上都有良好的表现,但是有的时候两者不可兼得。一种情况是在训练集上表现很好,在测试集上表现不好或表现一般;另一种情况是在训练集上表现不好或表现一般,在测试集上表现很好。相比较而言我们更倾向于后者,.原创 2020-07-19 16:27:58 · 170 阅读 · 0 评论 -
深度前馈网络
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为《Deep Learning》读书笔记,可以参看原书一起阅读,效果更佳。从本文开始将继续学习本书的第二部分,将从第一部分介绍深度学习所需要的基础知识过渡到构建深度网络,是理论的应用与提高。深度前馈网络也叫 多层感知机 或者是 前馈神经网络,是典型的深度学习模型。这种模型是一种前向的映射模型,由最初的输入,经过函数 f 映射到结果 y,模型的输出和模型本身没有反馈(有反馈的称作循环神经网络)。这里网络的概念是一种有向无环图,最简单的是链式连.原创 2020-07-05 17:10:24 · 274 阅读 · 0 评论 -
构建机器学习算法
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。我们前面也介绍了一些构建机器学习或深度学习的一些内容,理解了其中部分原理和这么做的原因,接下来我们总结一下,跳出来从更高一点的方面去概括的看一看,也许会有不同的感觉。构建机器学习算法构建机器学习算法是有套路的:特定的数据集、代价函数、优化过程和模型。...原创 2020-04-12 09:09:43 · 296 阅读 · 0 评论 -
随机梯度下降
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。梯度下降算法在机器学习或深度学习中,模型的训练在一般都会被转换为求使得目标函数函数值最小的参数组合的优化问题,简而言之就是优化参数,梯度下降法是优化参数的一种方法。梯度是数学上面的概念,梯度的方向是某一点方向导数最大值的的方向,其向其反方向(负梯度)移动...原创 2020-04-10 15:52:29 · 318 阅读 · 0 评论 -
无监督学习算法
本文首发自公众号:RAIS,点击直接关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。无监督学习算法就是无监督的一种学习方法,太抽象,有一种定义(这种定义其实不够准确,无监督和监督之间界限模糊)是说如果训练集有标签的就是有监督学习,无标签的就是无监督,没有标签,意味着不知道结果。有监督学习算法可以知道一堆图片它们是狗的照片,无监督学习算法...原创 2020-04-07 14:03:04 · 3698 阅读 · 0 评论 -
监督学习算法
本文首发自公众号:RAIS,点击直接。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。由于各平台 Markdown 解析差异,有些公式显示效果不好,请到我 个人维护网站 查看。监督学习算法监督学习算法的定义是,给定一组输入 x 和输出 y,学习如何将其关联起来,现在的大部分情况都是监督学习算法的范畴。逻辑回归很多的监督学习算法是基于估计概...原创 2020-04-06 09:09:47 · 1233 阅读 · 0 评论 -
最大似然估计与最大后验估计
前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。MLE VS MAP最大似然函数(MLE)和最大后验概率估计(MAP)是两种完全不同的估计方法,最大似然函数属于频率派统计(认为存在唯一真值 θ),最大后验估计属于贝叶斯统计(认为 θ 是一个随机变量,符合一定的概率分布),这是两种认识方法的差异。模型不变,概率是参数推数据,统计是数据推参数。最大似...原创 2020-04-04 08:23:47 · 1361 阅读 · 0 评论 -
超参数、验证集和K-折交叉验证
本文首发自公众号:RAIS前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。超参数参数:网络模型在训练过程中不断学习自动调节的变量,比如网络的权重和偏差;超参数:控制模型、算法的参数,是架构层面的参数,一般不是通过算法学习出来的,比如学习率、迭代次数、激活函数和层数等。与超参数对比的概念是参数,我们平时训练网络所说的调参,指的是调节&...原创 2020-04-02 08:18:22 · 1600 阅读 · 0 评论 -
过拟合和欠拟合
本文首发自公众号:RAIS前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。构建复杂的机器学习算法上一篇文章中我们介绍了什么叫做机器学习算法极其具体的定义和所关心的问题,比较简单,接下来的文章我们将介绍一些设计学习算法的基本准则。误差泛化:机器学习的目的是在新的输入上具有良好的表现,而不是已有的数据,这很好理解,在新的数据上表现良好的能...原创 2020-04-01 06:28:55 · 406 阅读 · 0 评论 -
机器学习算法
本文首发自公众号:RAIS前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。深度学习是机器学习的子集,因此想更深入的了解深度学习,需要对机器学习的一些基本原理。学习算法机器学习算法是一种能够从数据中学习的算法,有人给出学习的定义 “对于某类任务 T 和性能度量 P,一个计算机程序被认为可以从经验 E 中学习是指,通过经验 E 改进后,它在任务 ...原创 2020-03-31 11:17:48 · 260 阅读 · 0 评论 -
深度学习中的数值计算
前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。数值计算机器学习算法需要大量的数字计算,并且这些计算包含有一些迭代拟合的过程,在这个计算过程中,由于计算机的局限,无法完全精确的表示,因此总是存在误差的,小的误差经过迭代次数的增多,或者多个误差的叠加,甚至会使得算法不可用,系统失效。上溢和下溢下溢:在现有的精度无法表示那么小的数的时候,接近零的...原创 2020-03-29 10:44:04 · 1020 阅读 · 0 评论 -
深度学习中的信息论
本文首发自公众号:RAIS,欢迎关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。信息论信息论是数学上一个分支,非常重要,包括你能看到这篇文章信息的传输信息论在其中都发挥了极其重要的作用,我就不赘述了,我们还是讨论更学术更专业性的知识。量化信息非常可能的事情包含较少的信息;较不可能的事情包含更高的信息;独立的事件具有增量的信息。...原创 2020-03-28 10:40:34 · 1040 阅读 · 0 评论 -
深度学习中的概率论
本文首发自公众号:RAIS,期待你的关注。前言本系列文章为 《Deep Learning》 读书笔记,可以参看原书一起阅读,效果更佳。概率论机器学习中,往往需要大量处理不确定量,或者是随机量,这与我们传统所需要解决掉问题是大不一样的,因此我们在机器学习中往往很难给出一个百分百的预测或者判断,基于此种原因,较大的可能性往往就是所要达到的目标,概率论有用武之地了。概念离散型概率质量...原创 2020-03-27 10:11:38 · 816 阅读 · 0 评论 -
深度学习中的线性代数
前言本系列文章是 Deep Learning 的读书笔记,本书是深度学习极其优秀的学习参考书,有一定难度,因此本系列文章需要搭配原书一起阅读,效果更佳,如果不看原书,则假设你具有大学高等数学一般水平。深度学习中的线性代数易混基础概念标量:单独一个数向量:一行/列数矩阵:二维数组张量:一般指多维(0 维张量是标量,1 维张量是向量,2 维张量是矩阵)转置:沿主...原创 2020-03-26 10:34:08 · 442 阅读 · 0 评论