![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
B站王木头学科学(深度学习系列)
文章平均质量分 74
b站up主,王木头学科学讲解深度学习系列
指针阿飞
这个作者很懒,什么都没留下…
展开
-
【王木头学科学|深度学习】7. softmax、最大熵,两者有什么关系?最大熵对机器学习为什么如此重要?
笔记来源于B站UP主@王木头学科学笔记来源https://www.bilibili.com/video/BV1cP4y1t7cP问题引入sigmoid函数如果数值恰好落在这个绿色区域的话,这里梯度是非常小的,如果这个梯度再方向传播,传播到前面几层,那几乎不剩啥了,这就叫做梯度消失,为解决这个问题,就需要换成ReLu函数。ReLu函数ReLu函数如果是大于0,就是一条直线各个地方梯度保持一致,这个就能避免梯度消失问题。但是ReLU函数它的最大值可以是无穷大的,而神经网络的损失函数不论是极大原创 2021-08-19 11:56:19 · 1284 阅读 · 1 评论 -
【王木头学科学|深度学习】6. 如何理解“梯度下降法?”“什么反向传播”?
笔记来源于B站UP主@王木头学科学笔记来源https://www.bilibili.com/video/BV1Zg411T71b正向传播:把数据输入到神经网络,这些数据会沿着神经网络正向的传递,传递过程中会一层一层一个一个的感知机(也就是感知机上的参数W和b对结果产生的影响,有的对输出的结果影响大,有的对输出的结果产生的影响小)进行操作之后,最后得出结果反向传播:当一个神经网络还没有训练好的时候,它的判断结果是有偏差的,这个偏差也是依赖于W和b,如果某个w或者某个b,它对判断的结果产生重大的影响,那么原创 2021-08-01 17:02:49 · 853 阅读 · 1 评论 -
【王木头学科学|深度学习】5. “交叉熵”如何做损失函数?打包理解“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”
为什么要用熵?如果两种模型不是同类模型,可以找到一个中介这个中介就是熵,先把模型转换成熵这个数值,然后再用这个数值去比较不同模型之间的差异。在讲解熵之前,先要了解什么是信息量1. 信息量信息量不是了解...原创 2021-08-01 10:31:56 · 508 阅读 · 0 评论 -
【王木头学科学|深度学习】4. 损失函数是如何设计出来的?直观理解“最小二乘法”和“极大似然估计法”
1 损失函数损失函数:标准模型与神经网络训练出来的模型相差多少的定量表达,最小二乘法用这张图来表示处理这张图的过程,xi表示输入的图像,只有两种结果,0和1,是猫表示1不是猫表示0,输出结果yi(选用的是sigmoid函数)是(0,1)零到一之间,其得出的结论是输入一张照片经过神经网络,输入的结果是有多大的概率像猫。所以要比较xi和yi两个结果,两个结果相差越小,神经网络模型就越好。对所有的输入输出求最下的差值,但是取绝对值在定义域内有时候不可导,所以通常是求平方,虽然最小值可能发生变化,但是原创 2021-07-29 16:26:42 · 795 阅读 · 0 评论 -
【王木头学科学|深度学习】3.神经网络是什么?如何直接理解它的能力极限?它是如何无线逼近真理的
1. 神经网络上一节提到一个感知机的能力是有限的,它只能进行二分问题,而且这些数据必须是线性可分的,于是神经网络就出现了。一个简单的神经网络由输入层,隐藏层,输出层组成全连接网络下图的神经网络有一个特点,每一个节点都和下一层的节点全部连接,这样的神经网络也叫全连接网络;前馈神经网络同时也可以看到数据的传递方向是单向的,它只会朝着神经网络一直向前传所以也叫前馈神经网络卷积神经网络卷积神经网络不是一个全连接的网络,经过卷积和池化后已经把维度给降低了循环神经网络可以看到只有一个节点,原创 2021-07-29 11:44:15 · 658 阅读 · 0 评论 -
【王木头学科学|深度学习】2.什么是“感知机”,它的缺陷为什么让神经网络陷入低潮
提出问题逻辑运算只有三个基本运算,就是与、或、非,其他的任何逻辑运算,都可以用这三个组合来实现。既然感知机能够实现与或非,为什么不能实现异或问题呢?为什么引入感知机,感知机有什么意义?1. 感知机1.1 感知机的感知机其实就是一个分类的工具,如所示:二维情况是画一条线,分界线的一端是一类,另一端是另一类。三维情况是画面感知机的数学表达式如图所示,最后输出结果感知机的含义就是:给这类分类问题一个统一的模板,剩下的就是调参数2.2 感知机的缺陷如下图所示,前面三个与.原创 2021-07-28 22:52:47 · 2209 阅读 · 0 评论 -
【王木头学科学|深度学习】1. 什么是卷积?卷积的3个意义。卷积、图像卷积操作、卷积神经网络
1. 卷积1.1 什么是卷积例子,f是吃进去的食物,而且还在一直消化,比如十点吃进去,十二点还剩多少,但看f函数是不够的,g函数代表消化了多少。到一般情况,在x时刻吃进去,t时刻还剩多少可以发现f和g函数里面的自变量相加会消掉其中一个,x+(t-x)=t,这也是判断是不是卷积的一个重要标志。1.2 卷积的意义、价值卷积卷在哪?**卷积的价值:**对于一个系统,输入不稳定,输出稳定,用卷积求一个系统的存量。2.图像的卷积操作2.1 图像的卷积操作图像中的卷积,哪个是f哪原创 2021-07-28 10:56:45 · 1779 阅读 · 1 评论