零基础入门深度学习
文章平均质量分 71
《零基础入门深度学习》学习笔记
逍遥郎wj
凡读必记
展开
-
《零基础入门深度学习》学习笔记(一)感知器-代码详解
最近在搜集资料时无意中看到知乎中有人推荐此教程,特整理输出一遍。形成此系列文章。本文原文标题为:《零基础入门深度学习(1) - 感知器》原理部分请直接参考原文:目前只分析源码:此代码修改原码,为python3环境。from functools import reduceclass Perceptron(object): def __init__(self, input_num, activator): """ 初始化感知器,设置输入参数.原创 2021-01-08 18:07:04 · 466 阅读 · 1 评论 -
《零基础入门深度学习》学习笔记(二)线性单元和梯度下降-代码详解
本文学习原文:零基础入门深度学习(2) - 线性单元和梯度下降为了看图参看文献:https://blog.csdn.net/weixin_39121325/article/details/89638932第一个问题:为何提出线性单元?是感知器不好用了吗?感知器有哪些不足?答:感知器无法处理:线性不可分问题。第二个问题:如何解决上述的问题?什么是线性单元?相对于感知器哪里升级了?答:为了解决线性不可分问题:将激活函数由原来的阶跃函数(大于阈值跳变。)替换为可导的线性函数。这样就成..原创 2021-01-11 10:43:02 · 346 阅读 · 2 评论 -
《零基础入门深度学习》学习笔记(三)神经网络与反向传播算法-代码详解
上一篇中原创 2021-01-11 16:39:09 · 209 阅读 · 0 评论 -
《零基础入门深度学习》学习笔记(四)卷积神经网络-代码详解
原文要点梳理:1、最近几年卷积神经网络中,激活函数往往不选择sigmoid或tanh函数,而是选择relu函数:f(x) = max(0, x)。选择relu的原因:1)速度快。计算代价小2)减轻梯度消失问题:sigmoid函数的导数最大值为0.25,累乘之后越来越小。relu导数始终为1。因此relu可以支持更深的网络。3)稀疏性:大脑在日常工作中只有大约5%激活。sigmoid激活函数激活率为50%。relu小于零完全不激活,因此可以获得一个更低的激活率。第一个问题:有了全原创 2021-01-13 16:47:54 · 332 阅读 · 1 评论 -
《零基础入门深度学习》学习笔记(五)循环神经网络
学习原文在此,但是讲解RNN入门最好的三篇文章在知乎:一、一文搞懂RNN(循环神经网络)基础篇;二、循环神经网络(RNN)为什么能够记忆历史信息;三、浅析循环神经网络RNN的两种应用。这篇也可以参考:如何深度理解RNN?——看图就好!全连接神经网络和卷积神经网络,他们都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的。由此引出:循环神经网络(Recurrent Neural Network)。..原创 2021-01-14 15:16:29 · 804 阅读 · 0 评论