李宏毅机器学习——Task05 网络设计的技巧（续）

最新推荐文章于 2024-11-04 23:29:08 发布
最新推荐文章于 2024-11-04 23:29:08 发布
阅读量312 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_49771885/article/details/125489228
版权

1.loss function

使用MSE有可能会卡住。

2. Batch normalization

  • Original paper：https://arxiv.org/abs/1502.03167
  • 偶然的发现？https://arxiv.org/abs/1805.11604
  • Batch Renormalization：https://arxiv.org/abs/1702.03275
  • Layer Normalization：https://arxiv.org/abs/1607.06450
  • Instance Normalization：https://arxiv.org/abs/1607.08022
  • Group Normalization：https://arxiv.org/abs/1803.08494
  • Weight Normalization：https://arxiv.org/abs/1602.07868
  • Spectrum Normalization：https://arxiv.org/abs/1705.10941
qq_49771885
关注
Task 4 李宏毅机器学习——深度学习
weixin_47502945的博客
07-18 312
深度学习的三个步骤 1.define a set of function——该function即神经网络 2.goodness of function 3.pick the best function 神经网络的连接方式不同代表了不同的function fully connect feedforward network（全连接前馈网络） 输入是一组向量，输出也是一组向量 一个网络如果已经设好了参数，就是一个function 如果仅仅是定义好了这个网络的结构（节点的连接方式），而没有设好参
李宏毅机器学习——Task05 网络设计的技巧
qq_49771885的博客
06-22 198
李宏毅机器学习——Task05 网络设计的技巧
datawhale李宏毅机器学习——task05“网络设计技巧”
nebula1008的博客
01-18 836
由前面的学习内容知道，建立深度学习的三个步骤是 ①选择函数集②评估函数③选择最好的函数 做完三个步骤之后会得到自己的神经网络，这时候需要检查神经网络的表现，检查哪些方面呢？ 1)首先是神经网络在训练集上是否得到了好的结果，如果没有，可以回顾前面的步骤进行调整和修改。 2)如果在训练集上有好的效果，再看神经网络在测试集上的表现，如果在测试集上效果不好，说明网络出现了过拟合。 （值得说明的是，只有当网络在训练集表现好而测试集表现不好时，才是出现了过拟合。不是所有测试集表现不好都是过拟合的原因。） 如果在训练集上
datawhale李宏毅机器学习——task07总结
nebula1008的博客
01-23 594
在任务01中，对机器学习的定义、结构和功能有了大致了解。 机器学习是为了让机器能够像人一样拥有智慧而设计的一种算法，这种算法最大的特点在于从一堆数据中根据设定的神经网络学习数据中隐含的知识。机器学习的执行步骤，首先，明确要解决的问题类型，是回归还是分类；然后，根据问题类型选择函数集，有线性的非线性的，非线性的就是指深度学习、SVM、KNN这些；最后，根据数据有无标签的特点，选择训练方法。 在任务02中，学习了回归。回归就是找一种函数集，这种函数能够输出想要的值，有预测和判断功能。回归的步骤：选择函数集；选择
datawhale李宏毅机器学习——task06“卷积神经网络“
nebula1008的博客
01-21 734
卷积神经网络也就是CNN，在图像处理上有很大用处。那为什么要用CNN呢，这种网络相比其他网络有什么得天独厚的优势吗？ 拿前面提到的很经典的多层前馈神经网络来说，这个网络很重要的一点是后一层与前一层全连接。而神经元与神经元之间连接会有权重参数，这样一来，一张几百个像素点的小尺寸相片也需要几千个参数，这样一来网络太庞杂了，很可能存在冗余。 而CNN正是从这一点出发，简化原来这种全连接网络的架构。 那cnn如何简化呢？又如何确保这种简化能够完成工作呢？ 以图像识别为例，图像识别是将识别照片中的所有特征点进行组合然
李宏毅机器学习——Task02 回归
qq_49771885的博客
06-15 217
李宏毅机器学习笔记
DW李宏毅机器学习——Task3
momokofly的博客
09-17 165
1、误差的来源 Where does the error come from ？ 并不是模型越复杂，误差越小 error due to ‘bias’ and error due to ‘variance’ 理论上有一个最佳的函数f^\hat ff^​，但我们没办法知道。利用训练数据，我们可以找到f∗f^*f∗，这个f∗f^*f∗只是f^\hat ff^​的估计值。 Bias and Variance of Estimator： 估计随机变量xxx的均值： 假设xxx的均值uuu， ...
Task 5 李宏毅机器学习——类神经网络训练
weixin_47502945的博客
07-20 276
使optimization卡住的原因 1）局部最小 2）卡在了鞍点（saddle point）此处微分也为0 当训练卡住的时候，是否能知道是卡在局部最小还是鞍点 局部最小边上没路可走 鞍点附近有路可走，即有办法再调整 泰勒级数近似 g是个向量，里面放的是一次微分 h是个矩阵，里面放的是二次微分 当到了关键点时，第二项为0，因为被卡住的点的一次微分为0，g为0 根据第三项（红框中）来判断到底是哪种点 算h矩阵的正负，根据正负来判断是哪种点 例子： 沿着特征向
datawhale李宏毅机器学习——task03“误差和梯度下降”
nebula1008的博客
01-15 1741
误差： 模型越复杂，平均误差反而越大。这种error的主要来源是偏差bias和方差variance。 由真实数据训练得到的模型与理想模型之间存在的差距就算是偏差和方差导致的。 不同模型的偏差和方差不同。 偏差大说明欠拟合。 方差大说明过拟合。 因此需要在偏差和方差之间权衡一个模型，使得总误差最小。可以通过交叉验证或者n折交叉验证得到的准确率来选择。 梯度下降法： 这是一种更新参数值的方法。就是每次更新的幅度，由当前数值下的偏导数乘以学习率来决定。 自适应学习率：随着训练次数的增加，学习率也会动态地发生变化。
Task 6 李宏毅机器学习——卷积神经网络
weixin_47502945的博客
07-23 387
CNN（卷积神经网络）常被用在影像处理上，可以简化网络的架构 输入是一张用像素表示出来的图片 使用CNN处理图像识别的原因 1.一个特征对于整个图像来说可能很小，因此只要看图片的一部分即可 2.同样的特征可能出现在图片的不同部分，因为他们想实现的功能都相同，因此可以使用相同的参数，尽管是识别在不同位置上的特征（pattern） 3.对图片进行下采样（subsample）不会改变辨识的对象,而能使图片变小，可减少使用的参数 CNN的整体架构 input--convolution--max
李宏毅机器学习|Task02
weixin_42724663的博客
08-17 353
下降到最优处时得到最终的w,b，带入模型，得到一条直线，用模型去泛化，预测其他数据，还行，但拟合的不是特别理想，我们想到用二次模型，或多次模型，引入二次项，可能拟合的更理想，注意最终还是线性模型，因为将二次项还是视作一个特征，图形可视化为一条曲线。：更多特征，但是参数表示得权重 w 可能会使某些特征权值过高，仍旧导致过拟合，所以加入正则化，原来代价函数后面加上一项，该项只考虑w，不包含偏执参数b会比较好，正则项前的λ越大，曲线越越平滑，但不一定越平滑泛化能力越好，需要我们手动调整λ来测试。...
李宏毅机器学习36——life long learning
weixin_57178683的博客
09-05 773
这节课学习了lifelonglearning，lifelonglearning意为终身学习，意思是通过一个神经网络来进行多个task的训练。 LLL面临的主要问题就是经过多个task之后，神经网络对于早期训练的效果就会很差，这可以理解为会遗忘掉过去的事。为了处理这个问题，主要学习了两种方法。 1是EWC（Elastic weight consolidation），ewc的想法是保留之前task训练过程中重要的参数，去更改不太重要的参数，使得经过多个task训练后，对早期的task仍然有不错的表现...
DW李宏毅机器学习Task2——Regression
momokofly的博客
09-16 199
回归的应用： （1）股票市场的预测 （2）自动驾驶车 （3）推荐系统 应用例子：预测进化后的宝可梦CP值 Step 1:Model Linear model：y=b+∑wixiy=b+ \sum{}^{}w_ix_iy=b+∑wi​xi​ xix_ixi​：an attribute of input xxx (feature) wiw_iwi​：weight bbb：bias Step 2:Goodness of Function Source:https://www.openintro.org
基于PaddlePaddle的李宏毅机器学习——迁移学习
qq_62152445的博客
04-17 372
假设现在要做猫和狗的分类器，我们需要一样标签数据告诉机器哪些是猫，哪些是狗。同时，假设现在有一些与猫和狗没有直接关系的数据，这里说是没有直接关系，并不是说是完全没有关系。就是说有一些关系，但又不是直接相关的。假设现在有自然界真实存在的老虎和大象的图片，那老虎和大象对分辨猫和狗会有帮助吗。或者说我们有一些卡通动画中的猫和狗图像，但不是真实存在的，有没有帮助呢。迁移学习把任务A开发的模型作为初始点，重新使用在为任务B开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务。
ISME Comm | 机器学习和深度学习在微生物组研究中的应用
悟道西方
11-04 546
Review Article，ISME Communications, DOI：https://doi.org/10.1038/s43705-022-00182-9 第一作者：Ricardo Hernández Medina 通讯作者：Mads Nielsen；Simon Rasmussen 主要单位：哥本哈根大学 - 摘要 - 我们把在生态系统中与我们息息相关的许多微生物群落统称为微生物组。虽然肉眼不可见，但是微生物组主宰或影响着宏观系统，如人类健康，植物胁迫以及生化循环。这一现象吸引
利用微型机器学习进行音频分类以实现 Muara Karang 发电厂的预测性维护
bit_mike的博客
11-04 315
使用带有音频传感器的 Wio Terminal 硬件，并利用 Mel-Filterbank Energy（MFE）方法和神经网络分类器，系统实现了100%的准确率和低 RAM 消耗（19.7 KB），通过实时异常检测和预测性维护显著提高了操作效率和可靠性，数据在 Grafana 仪表板上可视化，通过 Node-RED 存储在 MySQL 数据库中，并作为 WhatsApp 通知发送。尽管研究结果令人鼓舞，但它们特定于这个发电厂，并且专注于音频数据，表明未来的研究应该探索更广泛的应用和额外的数据类型。
PyTorch nn.Embedding() 嵌入详解
最新发布
Hoper-J的博客
11-04 309
了解嵌入（Embedding）到底是什么？
如何自学机器学习？
人邮异步社区
11-04 518
本书从机器学习的角度讲授这些数学知识，对它们在该领域的应用举例说明，使读者对某些抽象的数学知识和理论的实际应用有直观、具体的认识。本书内容紧凑，结构清晰，深入浅出，讲解详细。全书共11章和一个术语表，依次介绍了机器学习的基本概念、符号和定义、算法、基本实践方法、神经网络和深度学习、问题与解决方案、进阶操作、非监督学习以及其他学习方式等，涵盖了监督学习和非监督学习、支持向量机、神经网络、集成学习、梯度下降、聚类分析、维度降低、自编码器、迁移学习、强化学习、特征工程、超参数调试等众多核心概念和方法。
深入了解线性回归：机器学习中的经典算法
不迁怒，不贰过。小知识，大智慧。
11-04 618
在数据驱动的时代，机器学习已经成为各行各业不可或缺的工具。无论是在金融、医疗、零售还是科技领域，数据分析和预测能力都在不断推动着业务的创新与发展。在众多机器学习算法中，线性回归以其简单性、可解释性和高效性，成为了最受欢迎的基础算法之一。
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值