- 博客(22)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】卷积
给定一个输入信号序列xxx和滤波器wwwyt∑k1Kwkxt−k1ytk1∑Kwkxt−k1也可记作ytx∗wytx∗w，其中∗∗是卷积符号。要注意卷积核的序列顺序与输入信号序列顺序相反，在运算时需要将卷积核反转。上图中，下面一行为输入序列xxx，上面为输出序列yyy，卷积核为−101[-1,0,1]−101，为了计算首先反转卷积核变为10−1[1,0,-1]10。
2024-06-21 01:38:35
2052
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】计算图与自动微分
基本原理是将所有数值计算分解为一些基本操作和初等函数（算子），然后利用链式法则自动计算复合函数的梯度。上图中每个节点都是一个算子操作，两个指向算子的箭头表示参与运算的变量，每个箭头上又计算了经过结合后的式子。如果函数和参数之间有多条路径，可以将这多条路径上的导数再进行相加，得到最终的梯度。在利用计算图进行自动微分计算时，有两种计算顺序，分别为前向模式和反向模式。对每个参与运算的变量的偏导数（红色数字代表变量取值，上图示例为。的路径上的所有偏导数（或带入取值后的偏导数值）的连乘。的偏导数，就是从变量。
2024-06-21 01:33:57
903
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】梯度的反向传播算法
矩阵微积分（Matrix Calculus）在开始之前，需要先了解矩阵微积分的一些计算规则。首先，对于矩阵微积分的表示，通常由两种符号约定：分母布局标量关于向量的导数为列向量向量关于标量的导数为行向量N维向量对M维向量的导数为M*N维矩阵（雅可比矩阵的转置）标量对M维向量的二阶偏导数为M*M维矩阵（Hessian矩阵，也写作▽2f(x)\triangledown^2f(x)▽2f(x)，第m行第n个元素为∂2y∂xm∂xn\frac{\partial^2y}{\parti
2024-06-15 01:03:28
589
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】前馈神经网络
之后内容中的符号解释其中，网络层数L、神经元个数Ml、激活函数fl⋅是超参数。zlWlal−1blalflzl⇒alflWlal−1bl一层中的每一个神经元都是上一层所有神经元的加权汇总，flzl是按元素的激活函数（对向量中的每个元素分别带入计算）xa0→z1→a1→z2→⋯→aL−1→zL→aLϕx;wb。
2024-06-15 01:00:23
855
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】神经元和人工神经网络
由于ReLU函数单侧抑制的性质，假如输入数据信息全部处于小于0一侧，那么ReLU函数的输出将变成0，对应的导数（梯度）也是0，从而无法更新参数，导致该神经元一直处于非激活状态，一直输出0，这就是所谓的。除了这些之外，还有一个对ELU函数进行处理，使其尽可能接近ReLU函数的版本，也可以说是ReLU函数的平滑版本，叫做Softplus函数。同样ReLU函数也是非零中心化的函数，基于此又提出了近似的零中心化的非线性函数。，代表的意思就是只允许一半的信息通过，这种就是所谓的。
2024-06-12 02:30:42
983
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】线性分类模型损失函数对比
本节均以二分类问题为例进行展开，统一定义类别标签y∈1−1，则分类正确时yfx;w0，且值越大越正确；错误时yfx;w0，且值越小越错误。不同损失函数间的损失随yfx;w。
2024-06-12 02:24:53
964
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】支持向量机（Support Vector Machine，SVM）
对于分类问题来讲，感知器（感知机）可以有多个“好的”分类器来完成对应的分类任务，如下图所示，假设训练数据线性可分，图中所有的直线都代表感知器的一个分界面，那么下图所有的分界面都能够顺利完成分类任务。其中红色的线表示最好的一个分界面。理想的分界面要距离每一个样本都较远，这样的模型兼容性好、泛化能力和稳定性强，可以容忍在采集数据时造成的一定的噪声问题。
2024-06-09 01:09:20
1789
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】感知器
感知器是一种非常早期的线性分类模型，作为一种简单的神经网络模型被提出。感知器是一种模拟生物神经元行为的机器，有与生物神经元相对应的部件，如权重（突触）、偏置（阈值）及激活函数（细胞体），输出为+1或-1。
2024-06-09 01:01:09
973
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】Softmax回归
Softmax回归主要用于解决多类问题（类别数>2），可以看作Logistic回归在多分类问题上的一种扩展。
2024-05-29 20:07:01
972
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】Logistic回归
gfx;w))1iffx;w00iffx;w0由于这个模型不可导，因此不能跟以前一样通过求导的方式来进行数学优化进而求解最优参数。而是需要通过将分类问题转换成概率估计问题，然后用来建立损失函数。对于分类问题，已知的只有判别函数fx;w∈R，要将分类问题看作条件概率估计问题，需要引入非线性函数g来预测类别标签的条件概率pyc∣x。以二分类问题为例，就是找到使得pθy1∣xgfx;w。
2024-05-29 20:05:16
799
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】线性分类
之前在线性回归问题当中，直接将线性模型映射到一个连续的实数集y上来表示预测值。但是对于分类问题来说，预测值为离散值，以二分类问题为例，预测值属于集合01，因此用线性回归模型无法解决分类问题。通常，为了实现这些简单的分类问题，可以通过对线性模型外层嵌套一个离散函数来解决。仍以二分类问题为例，在外层嵌套一个如下的分段函数gfx;w))1iffx;w00iffx;w0。
2024-05-23 20:20:40
644
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】从概率角度看线性回归
从概率角度来看线性回归从机器学习的角度看，线性回归需要通过一个函数建模x,yx,yx,y之间的关系；而从概率的角度看，则是要表示出在给定xxx下随机变量yyy的条件概率。但通常yyy是一个定值，为了计算yyy在给定xxx下的条件概率p(y∣x)p(y|x)p(y∣x)，首先要将yyy看作一个随机变量。可以先用一个函数表示出一个连续函数，在对该函数进行采样时添加一个服从均值为0方差为σ2\sigma^2σ2的噪声ϵ\epsilonϵ，最后得到连续随机变量yyy的概率密度函数：y=f(x,w)+ϵ,&nb
2024-05-19 03:25:49
887
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】线性回归
回归问题属于机器学习中较为简单的一类问题。对于回归问题，训练集要包含输入和输出xnynn1N。其中输入xn一般为D维向量，记作xn∈RD；输出yn为连续的标量，记作yn∈R。回归问题即求解xy之间的映射关系，记为yfxθ。
2024-05-10 02:15:35
890
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】机器学习
机器学习可以理解为自动构建一个从输入到输出的映射函数。要构建这个映射函数，需要从大量数据中学习规律。将通过特特征工程提取到的表示记为xxx，输出记为yyy（也称作标签 Label），机器学习就是要寻找一个映射函数fxf(x)fx使得yfxy=f(x)yfx具体说来，假设一xyx,yxy服从分布PrxyP_r(x,y)Prxy，并从中采样得到x1x2xNx1x2...xN。
2024-05-10 02:08:39
1041
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】概率
根据积分定义的几何意义，区间上的概率密度函数做积分表示这个函数与坐标轴围成的图形面积，从概率角度来讲就是区间上事件发生的概率，由于积分区间就是事件发生的完整取值区间，因此在完整区间上的该积分结果总是1。此外，由于区间上实际上的点是无穷多的，因此说随机变量取某个点的概率总是近乎为0，只有表示随机变量取到某个区间的概率才有意义。解答：这里说的样本均值指的是实际的样本的平均值，不是期望，大数定律是说样本数量足够大时，样本的平均值和实际期望之间若存在一个差额。，那么这个差额是趋近于0的。
2024-05-10 02:01:56
295
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】神经网络
如上图表示对多个神经元接受的信号进行加权求和，结果通过激活函数计算得到一个值，通过设置阈值来表示对应的具体含义（比如大于0.5表示神经元兴奋、小于表明神经元不兴奋）大量人工神经元以及它们之间的有向连接构成人工神经网络，这种许多神经元组成的信息处理网络具有并行分布结构。为输出层（分类器），其中隐藏层是表示学习，输出层为浅层学习，这是一个端到端的前馈深度学习。通过计算每一层结果对最终结果的贡献度，可以最终确定每个层的贡献度分配。发生变化时，对y的影响大小。层的参数，后面是偏导数，对。表示神经网络的输出，
2024-05-10 01:56:04
592
原创 【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】深度学习
好的表示学习策略必须具备一定的深度神经网络层级个数，层数越多则越深深度学习=表示学习+浅层（决策/预测）学习这种从原始数据直接产生预测结果，中间特征提取部分不需要人工干预的形式叫做。大多数的深度学习模型都是端到端模型。深度学习的难点——深度学习采用的模型一般比较复杂，指样本的原始输入到输出目标之间的数据流经过多个线性或非线性的因为每个组件都会对信息进行加工，并进而影响后续的组件，所以当我们最后得到输出结果时，我们并不清楚其中每个组件的贡献是多少。这个问题叫作。
2024-05-10 01:53:48
758
空空如也
顺序查找中监视哨的作用
2022-12-18
vue/cli创建的空项目无法正常运行，如何解决？
2021-12-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人