吴恩达精简第三章学习笔记篇（引用图片来自于吴恩达先生视频）

最新推荐文章于 2024-07-10 00:06:34 发布
最新推荐文章于 2024-07-10 00:06:34 发布
阅读量66 收藏
点赞数 1
文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55885777/article/details/120415245
版权

神经网络的表示

逻辑回归

神经网络分为输入层，输出层和隐藏层
隐藏层中的节点真实数据我们是看不到的
输入层的激活值将数据传给隐藏层，隐藏层传递给输出层（使用上标【】来表示），双层的神经网络分层不包括输入层 隐藏层和输出层含有参数
图片来自于吴恩达先生做的公益视频，感谢吴恩达先生
对于双层的神经网络来说，每一层对应的a，z和w和b都用上标表示层数，下标表示的是每层第几个神经单元，而每个w矩阵都是由每层的w组合成的，每个层每个神经单元的w都是一个列向量，输出的z也是一个列向量
在这里插入图片描述
所需计算的单隐层神经网络就需要以下的四个公式
在这里插入图片描述

对于多个样本的线性预测的计算（logistics模型）

在这里插入图片描述
下面的公式都是通过对多个样本的推导从而更加容易的理解起来
在这里插入图片描述

激活函数

使用tanh可以使得数据中心化，更接近0 这个函数是sigmoid函数平移得到的
二元分类的时候用sigmoid函数当作激活函数，其他的时候很少用，下面是tanh函数
不同层的激活函数可以不一样
在这里插入图片描述

总结激活函数

sigmoid用于二分类输出层，几乎用不到
relu更好用，大部分时候都用
带泄露的relu=max(0.01z,z)

向量化

在这里插入图片描述
随机初始向量方法
在这里插入图片描述

bewanuim
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
吴恩达《deeplearning深度学习》课程学习笔记【1】（精简总结）
竹聿Simon的专栏
03-09 7850
毕业以后就没再写过博客，又想起来了。 Ps：本文只是个人笔记总结，没有大段的详细讲解，仅仅是将自己不熟悉和认为重要的东西总结下来，算是一个大纲，用的时候方便回忆和查找。 Ps2：部分笔记内容见图片。 相关课程内容 一、神经网络和深度学习 第一周 深度学习概论 第二周 神经网络基础 知识点总结 1. 神经网络 神经元：neuron 2. 房屋价格预测 若干输入特征→...
吴恩达机器学习课后作业源码及笔记_机器学习_吴恩达_
10-01
这份名为“吴恩达机器学习课后作业源码及笔记”的压缩包文件，无疑是针对他开设的机器学习课程的学习辅助资料。这份资料包括了课程中的习题解答以及相关的编程代码，对于正在学习或已经学过吴恩达机器学习课程的人来...
吴恩达《deeplearning深度学习》课程学习笔记【3】（精简总结）
竹聿Simon的专栏
03-17 881
相关课程内容 二、改善深层神经网络 第一周 深度学习的实用层面 知识点总结 1. 训练集与测试集分布不匹配问题 训练集（train） 验证集（dev） 测试集（test）：test和dev分布相同 2. 偏差（Bias）与方差（Variance） （1）高偏差与高方差 (2)降低偏差/方差的方法 现在可以在降低偏差/方差的同时几乎不影响另一个数值的变化。 ...
【吴恩达机器学习】第七周课程精简笔记——支持向量机SVM
STAR GAME
02-22 1137
Support Vector Machines 1. Large Margin Classification （1）Optimization Objective（优化目标） SVM相比于Logistic Regression 有着计算上的优势，并使接下来的优化问题变的更加简单、更容易解决。 在SVM中，我们不再用λ\lambdaλ去控制B，而是用参数CCC来控制A，使 CA+BCA+BCA+B 整体达到最小。 支持向量机并不会输出一个概率，而是通过一个优化函数得到一个参数，然后使用这个参数来直接预测
吴恩达深度学习笔记：深度学习的 实践层面 (Practical aspects of Deep Learning)1.6-1.8
weixin_43597208的博客
04-23 850
假设你在训练上图这样的神经网络，它存在过拟合，这就是 dropout 所要处理的，我们复制这个神经网络，dropout 会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节点都以抛硬币的方式设置概率，每个节点得以保留和消除的概率都是 0.5，设置完节点概率，我们会消除一些节点，然后删除掉从该节点进出的连线，最后得到一个节点更少，规模更小的网络，然后用 backprop 方法进行训练。中的对应值为 1 的概率都是 0.8，对应为 0 的概率是 0.2，随机数字小于 0.8。
吴恩达机器学习第二章答案ex2.rar
11-16
《吴恩达机器学习》是全球知名的在线课程“Machine Learning”教材，由人工智能领域的权威专家吴恩达教授主讲。本资源是针对该课程第二章的作业答案，旨在帮助学习者深入理解并实践课程中的理论知识。这个压缩包...
对于吴恩达机器学习的学习笔记
04-13
本课程提供了一个广泛的介绍机器学习、数据挖掘、统计模式识别的课程。主题包括： （一）监督学习（参数/非参数算法，支持向量机，核函数，神经网络）。...里面包含了自己的学习笔记，希望对你们有帮助
机器学习课笔记_吴恩达机器学习笔记_
10-01
吴恩达机器学习视频配套笔记，大家可以在B站上搜索视频进行学习
神经网络设计过程
Water_Sunzhipeng的博客
07-08 224
转化为Iris Y(1, 3) = X (1, 4) * W(4, 3) + b(3,) 三个偏置项。梯度下降法：沿损失函数梯度下降的方向，寻找损失函数的最小值，得到最优的参数的方法。2.神经网络方法，采集大量的Iris特征，分类对应标签，构成数据集。学习率：当学习率设置的过小时，收敛过程变得缓慢，过大，会在错过最小值。损失函数可以判断当前W和b的优劣，当损失函数值最小时，W和b最优。损失函数的表达方法之一就是：均方误差：MSE(y, y_) =运用损失函数定义预测值(y)与标准答案(y_)之间的差距。
使用八股搭建神经网络
Water_Sunzhipeng的博客
07-09 637
swquential可以搭建上层输出就是下层输入的网络结构，但是无法搭建带有跳连特征的非顺序网络结构定义网络结构块def call(self, x): #写出前向传播调用网络结构块，实现前向传播return y__init__定义出积木call调用积木，实现前向传播return y每循环一次train，计算一次test的测试指标。
【work】AI八股-神经网络相关
qq_33673253的博客
07-02 650
y^=g(Whyh+by)\hat{y} = g(W_{hy} h + b_y)y^​=g(Why​h+by​) 其中 WhyW_{hy}Why​ 是隐藏层到输出层的权重矩阵，byb_yby​ 是输出层的偏置向量，ggg 是输出层的激活函数，通常在分类问题中是softmax函数。: h=f(Wxhx+bh)h = f(W_{xh} x + b_h)h=f(Wxh​x+bh​) 其中 WxhW_{xh}Wxh​ 是输入到隐藏层的权重矩阵，bhb_hbh​ 是隐藏层的偏置向量，fff 是激活函数。
MATLAB实现-基于CNN-BiLSTM卷积神经网络结合双向长短期记忆神经网络数据分类预测（多输入多分类）
m0_60368832的博客
07-09 209
MATLAB实现-基于CNN-BiLSTM卷积神经网络结合双向长短期记忆神经网络数据分类预测（多输入多分类）1.数据均为Excel数据，直接替换数据就可以运行程序。3.具有良好的编程习惯，程序均包含简要注释。2.所有程序都经过验证，保证程序可以运行。
神经网络中的激活函数
m0_53881899的博客
07-09 153
神经网络中的激活函数
变长输入神经网络设计
新缸中之脑
07-09 468
我脑海中的应用程序具有可变数量的相同类型的输入。DeepMind 的研究人员最近发表了“关系网络”的想法，它将可变数量对象的特征作为输入并以顺序不变的方式处理它们，而无需对原始数据集的置换重复进行训练。此外，网络的大小是手动输入的，而不是来自一些更严格的程序，例如 k 倍交叉验证等。以下是一个例子：给定一组从高斯分布中抽取的点，估计它们的均值和方差。请注意，对于样本的每一行，点的数量可能不同。受此启发，我尝试在 PyTorch 中实现一个网络，它可以学习估计高斯分布的方差，给定从中抽取的可变数量的点。
MATLAB实现-基于CNN-LSTM卷积神经网络结合长短期记忆神经网络数据分类预测（多输入多分类）
m0_60368832的博客
07-09 75
MATLAB实现-基于CNN-LSTM卷积神经网络结合长短期记忆神经网络数据分类预测（多输入多分类）基于CNN-LSTM卷积神经网络结合长短期记忆神经网络数据分类预测（多输入多分类）1.数据均为Excel数据，直接替换数据就可以运行程序。3.具有良好的编程习惯，程序均包含简要注释。2.所有程序都经过验证，保证程序可以运行。
拓展神经网络八股（入门级）
最新发布
Water_Sunzhipeng的博客
07-10 444
保存模型参数可以使用tensorflow提供的ModelCheckpoint(filepath=checkpoint_save,因为是标准MINST数据集，因此在准确度上看不出来，需要在具体应用中才能体现。model.trainable_variables 返回模型中可训练参数。2.加载参数 load_weights(model_save_path)minst等数据集是别人打包好的，如果是本领域的数据集。把图片路径和标签文件输入到函数里，并返回输入特征和标签。我们需要对颜色取反，我们的训练图片是黑底白字。
神经网络构成、优化、常用函数+激活函数
Water_Sunzhipeng的博客
07-09 331
解决梯度消失问题正区间，容易造成神经元死亡，改变随机初始化，避免过多设置更小学习率，减少参数的巨大变化，避免训练中产生过多负数特征进入函数。4初始参数中心化，既让随机生成的参数满足以0为均值，sqrt(2/当前层输入特征个数）为标准差的正态分布。可以先用较大的学习率，快速得到较优解，然后逐步减小学习率，使模型在训练后期稳定。特点：容易造成梯度消失，输出非0均值，收敛慢，幂运算复杂，训练时间长。特点：输出是0均值，容易造成梯度消失，幂运算复杂，训练时间长。1.Signmoid函数。
卷积神经网络和Vision Transformer的对比之归纳偏置
985小菜鸡
07-06 320
每个像素点与其他所有像素点的关系都被考虑在内，这使得ViT在处理全局特征时非常有效，特别是在复杂的图像场景中。同一个卷积核在整个图像上滑动（卷积操作），从而在不同位置上使用相同的参数。由于卷积核在图像上的滑动操作，CNN对图像的平移具有一定的不变性。由于缺乏像CNN那样的强归纳偏置，ViT需要大量的数据来学习图像的各种模式和特征。如果数据量不足，ViT的性能可能不如CNN。简单来说，CNN的归纳偏置让它在处理局部特征时更加高效和鲁棒，而ViT的全局注意力使得它在数据量充足时能更好地处理全局信息。
机器学习个人笔记完整版v5.51.docx
12-27
本资源是一份详细的机器学习个人笔记，由斯坦福大学吴恩达教授的2014年机器学习教程中文版整理而成，总字数达到十二万字。这份笔记是基于吴恩达在Coursera上开设的课程《MachineLearning》进行编撰，该课程被誉为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值