《深度学习入门:基于Python的理论与实现》读书笔记
文章平均质量分 83
深度学习
非文的NLP修炼笔记
研究生在读,NLP小白一枚,希望大家多多指教~
展开
-
《深度学习入门:基于Python的理论与实现》读书笔记:第8章 深度学习
目录8.1 加深网络8.1.1 向更深的网络出发8.1.2 进一步提高识别精度8.1.3 加深层的动机8.2 深度学习的小历史8.2.1 ImageNet8.2.2 VGG8.2.3 GoogleNet8.2.4 ResNet8.3 深度学习的高速化8.3.1 需要努力解决的问题8.3.2 基于GPU的高速化8.3.3 分布式学习8.3.4 运算精度的位数缩减8.4 深度学习的应用案例8.4.1 物体检测8.4.2 图像分割8....原创 2022-02-09 21:39:52 · 2803 阅读 · 4 评论 -
《深度学习入门:基于Python的理论与实现》读书笔记:第7章 卷积神经网络
目录第7章 卷积神经网络7.1 整体结构7.2 卷积层7.2.1 全连接层存在的问题7.2.2 卷积运算7.2.3 填充7.2.4 步幅7.2.5 3维数据的卷积运算7.2.6 结合方块思考7.2.7 批处理7.3 池化层7.4 卷积层和池化层的实现7.4.1 4维数组7.4.2 基于im2col的展开7.4.3 卷积层的实现7.4.4 池化层的实现 7.5 CNN的实现7.6 CNN的可视化7.6.1 第1层权重的可..原创 2022-02-07 23:22:53 · 647 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》读书笔记:第6章 与学习相关的技巧
第6章 与学习相关的技巧6.1 参数的更新神经网络的学习目的是找到使损失函数的值尽可能小的参数,这是寻找最优参数的问题,解决这个问题的过程称为最优化。为了找到最优参数,我们将参数的梯度(导数)作为了线索。使用参数的梯度,沿梯度方向更新参数,并重复这个步骤多次,从而逐渐靠近最优参数,这个过程称为随机下降梯度算法,简称SGD。本章我们将指出SGD的缺点,并介绍SGD以外的其他最优化方法。6.1.1 探险家的故事探险家虽然看不到周围的情况,但是能够知道当前所在位置的坡度(通过脚底感受地面的倾斜原创 2022-02-02 14:39:07 · 1629 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》读书笔记:第5章 误差反向传播算法
目录第5章 误差反向传播算法5.1 计算图5.1.1 用计算图求解5.1.2 局部计算5.1.3 为何用计算图解题5.2 链式法则5.2.1 计算图的反向传播5.2.2 什么是链式法则5.2.3 链式法则和计算图5.3 反向传播5.3.1 加法节点的反向传播5.3.2 乘法节点的反向传播5.3.3 苹果的例子5.4 简单层的实现5.4.1 乘法层的实现5.4.2 加法层的实现5.5 激活函数层的实现5.5.1 ReLu层5.5.2.原创 2022-01-28 21:49:00 · 2341 阅读 · 2 评论 -
《深度学习入门:基于Python的理论与实现》读书笔记:第4章 神经网络的学习
第4章 神经网络的学习本章的主题是神经网络的学习,这里所说的“学习”是指从训练数据中自动获取最优权重参数的过程。本章中,为了使神经网络能进行学习,将导入损失函数这一指标,而学习的目的就是以该损失函数为基准,找出能使它的值达到最小的权重参数。为了找出尽可能小的损失函数的值,本章我们将介绍利用了函数斜率的梯度法。4.1 从数据中学习神经网络的特征就是可以从数据中学习。所谓“从数据中学习”,是指可以由数据自动决定权重参数的值。对于线性可分问题,感知机是可以利用数据自动学习的。根据“感知机收敛定理”,通原创 2022-01-27 23:42:24 · 2015 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》读书笔记:第3章 神经网络
第3章 神经网络神经网络的一个重要性质是它可以自动地从数据中学习到合适的权重参数。3.1 从感知机到神经网络3.1.1 神经网络的例子我们把最左边的一列称为输入层,最右边的一列称为输出层,中间的一列称为中间层。中间层有时候也称为“隐藏层”。“隐藏”一词的意思是,隐藏层的神经元(和输入层、输出层)不同肉眼看不见。3.1.2 复习感知机3.1.3 激活函数登场刚才的h(x)函数会将输入信号的总和转换为输出信号,这种函数一般称为激活函数。如“激活”一词所示,激活函数的作原创 2022-01-26 15:52:31 · 1433 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》读书笔记:第2章 感知机
目录第2章 感知机2.1 感知机是什么2.2 简单逻辑电路2.2.1 与门2.2.2 与非门和或门2.3 感知机的实现2.3.1 简单的实现2.3.2 导入权重和偏置2.3.3 使用权重和偏置的实现2.4 感知机的局限性2.4.1 异或门2.4.2 线性和非线性2.5 多层感知机2.5.1 已有门电路的组合2.5.2 异或门的实现2.6 从与非门到计算机2.7 小结第2章 感知机感知机是由美国学者Frank Rosenblatt在.原创 2022-01-24 16:16:01 · 616 阅读 · 0 评论 -
《深度学习入门:基于Python的理论与实现》读书笔记:第1章 Python入门
第1章 Python入门本书的第一章是介绍Python的入门知识,为接下来的学习打基础。关于Python的相关知识在其他专栏里有写过,故不专门写这章的内容。Python小白(指菜鸡本鸡的我)阅读这章的一个收获是,通过np.array建立的两个矩阵进行乘法运算时并不是严格按照矩阵乘法的规则来计算的,我算了半天发现怎么也和自己手算的结果对不上,于是一查才知道,原来进行的仅是对应位置相乘的操作。import numpy as npa = np.array([[1, 3], [2, 5]])b原创 2022-01-24 10:22:00 · 517 阅读 · 0 评论