8月吃瓜教程—task04-学习笔记

最新推荐文章于 2024-05-02 18:50:38 发布
最新推荐文章于 2024-05-02 18:50:38 发布
阅读量117 收藏
点赞数
文章标签： 神经网络 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hugo_Knight/article/details/120071986
版权

书中脉络大概为:
1 神经元
2 感知机 :两层神经元
3 多层前馈神经网络
训练误差为:在这里插入图片描述
4 误差逆传播算法
即最小化训练集D上的累积误差
而标准BP算法每次仅针对一个训练样例更新连接权和阈值,基于单个的Ek推导而得.

5 过拟合与欠拟合的解决方法
过拟合:

  • 利用验证集达到早停
  • 正则化,减少模型的复杂程度

6 如何跳出局部极小

  • 多组不同参数值初始化
  • 模拟退火,即允许一定概率使得误差变大
  • 随机梯度下降,使得在极小值时仍能有梯度变化
  • 遗传算法
Hugo Zhong
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【DL学习笔记】打卡02：Task03-05
01-07
Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer Task05：卷积神经网络基础；leNet；卷积神经网络进阶 过拟合、欠拟合及其解决方案 一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合...
8月吃瓜教程—task01-学习笔记
Hugo_Knight的博客
08-17 123
第一章绪论的学习积累已经在之前写出。 链接：第一章绪论学习 补充一点内容： 一、没有免费的午餐定理 任何算法抛开实际问题来比较算法的优略性是无意义的。 通常我们只认为能高度拟合已有样本数据的函数才是真实目标函数 第二章 模型评估与选择 一、经验误差与过拟合 ①通常我们把分类错误的样本数占样本总数的比例称为“错误率”(error rate)，即如果在m个样本中有α个样本分类错误,则错误率E= a/m;相应的,1 - a/m称为“精度”(accuracy)，即“精度= 1-错误率”．更一般地,我们把学习器的
8月吃瓜教程—task05-学习笔记
Hugo_Knight的博客
09-06 98
第六章 支持向量机 很早之前在自己看过其他有关于机器学习的书籍的时候，遇到支持向量机看的都模模糊糊 这次也小部分的公式也试着理解了，但由于时间的关系，没能全部将里面的公式一个一个推导弄懂 一、算法原理 找距离正负样本最远的超平面 距离计算为： 证明过程： 二、模型 模型定义为： 三、如何求最大间隔超平面 利用拉格朗日乘法得到其“对偶问题” 解决思路是 四、预防过拟合 加入正则化 实现软间隔 ...
8月吃瓜教程—task03-学习笔记
Hugo_Knight的博客
08-30 85
第四章 4.1 算法原理 相当于在生成树，树的叶子节点代表了一个预测类别 4.2 为什么使用信息熵作为纯度判断标尺 信息熵用于对类别y作随机变量，将“不确定性”转换理解为集合内样本的“纯度” 信息熵 当X越大，即p(x) = 变量取值分之一，不确定性最大，即样本的纯度最低 4.3 如何优化使模型结果更好？ 划分选择： 1、使用信息增益 - 选择属性之后的信息增益最大的属性值 2、使用增益率 - 对信息增益的改进，但存在对取值数目较少的属性的偏好 3、使用基尼指数 - 反应随机两个样本之间的不一致的概率，
8月吃瓜教程—task02-学习笔记
Hugo_Knight的博客
08-23 75
第三章 线性模型 3.1 线性回归注意最小化误差的是y*到y的距离。 y是真实值，y*是预测值 3.2 多元线性回归 求参时： 最小二乘法 极大似然估计 3.3 为了使得计算加速，如利用numpy矩阵预算加速 最后的线性模型转化为 3.4 对数几率回归 模型： 策略： 极大似然法 信息论角度 算法： 梯度下降法 牛顿法 3.5 线性判别分析（LDA） ...
MSD医学图像数据集，Task02-Heart和Task04-Hippocampus
05-08
MSD医学图像数据集，Task02_Heart和Task04_Hippocampus
深度学习笔记二（task03-05）
01-06
在机器学习模型应关注降低泛化误差。 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训练...
DataWhale组队打卡学习营task04-1 机器翻译
01-06
机器翻译和数据集 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度...
fed-e-task-04-05:拉勾教育
03-14
fed-e-task-04-05 拉勾教育
神经网络的激活函数
小森的博客
04-26 2117
然而，它也存在梯度消失的问题，这意味着在训练过程中，当输入值非常大或非常小的时候，梯度几乎为零，这会导致权重更新变得非常缓慢，从而影响网络的学习效率。Softmax 直白来说就是将网络输出的 logits 通过 softmax 函数，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们将它理解成概率，选取概率最大（也就是值对应最大的）节点，作为我们的预测目标类别。假设有一个单层的神经网络，其输入为𝑥x，权重为𝑤w，偏置为𝑏b，那么该层的输出𝑦y可以表示为：𝑦=𝑤⋅𝑥+𝑏y=w⋅x+b。
【跟马少平老师学AI】-【神经网络是怎么实现的】（六）过拟合问题
weixin_43638099的博客
05-02 215
一句话归纳：
【跟马少平老师学AI】-【神经网络是怎么实现的】（七-1）词向量
最新发布
weixin_43638099的博客
05-02 348
2）神经网络处理文本，先要解决文本的表示（图像的表示用像素RGB）。9）用BP算法训练的不仅是神经网络语言模型的参数，也包含词向量。6）最大似然估计，通过让联合概率最大化估计概率的方法。10）稠密词向量可以计算两个向量的距离，有语义意义。8）对似然函数进行对数转换，取相反数，求最小值。1）神经网络不仅可以处理图像，还可以处理文本。清华大学=[0,0,1,0,0,0,0,0]清华园=[0,0,0,0,0,0,1,0]美丽的=[0,0,0,0,0,1,0,0]猪向量=[1.0,0.1,1.0]
人工智能_大模型044_模型微调004_随机梯度下降优化_常见损失计算算法_手写简单神经网络_实现手写体识别---人工智能工作笔记0179
添柴程序猿的专栏
04-29 175
然后对于,训练过程我们知道,其实就是让,训练所用的神经网络嵌套函数,也就是让很多神经元,可以看到常用的距离计算,有,其实这个距离计算,就是 预测值和结果值 的距离计算。epoch,就是执行一轮,就是一个epoch,一个epoch,也就传入一批的数据。然后对于,梯度下降,为了让训练的速度更好,更快的下降,又做了很多算法,可以看到。2.余弦距离:就是一个坐标系中,两个点,每个点和原点连起来,形成的夹角的角度.以上的代码中,使用了最简单的,神经网络模型来进行的,模型训练。可以看到和上面说的过程是一样的.
线性神经网络示例
数字人生
04-27 820
通过5个条件判定一件事情是否会发生，5个条件对这件事情是否发生的影响力不同，计算每个条件对这件事情发生的影响力多大，写一个线性神经网络模型pytorch程序,最后打印5个条件分别的影响力。
【跟马少平老师学AI】-【神经网络是怎么实现的】（五）梯度消失问题
weixin_43638099的博客
05-02 242
用sigmoid函数，O取值为0~1，O(1-O)最大值为0.25，若神经网络层数多，则会造成更新项趋近于0，称为梯度消失。3）神经网络并不完全随着深度的增加提高正确率。
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（二）
段智华的博客
04-26 904
探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（二）
机器学习之sklearn基础教程
小透明的博客
04-26 587
scikit-learn是一个用于数据挖掘和数据分析的开源Python库，建立在Python的NumPy、SciPy和matplotlib等库之上。它包含了几乎所有常见的机器学习算法，如分类、回归、聚类和降维等。scikit-learn是一个非常强大的机器学习库，它提供了大量的工具来处理各种数据挖掘任务。通过本教程，你应该已经掌握了sklearn的基本用法，包括数据预处理、选择模型、训练和评估模型以及超参数调优。随着实践的深入，你将能够更好地理解和应用这个库，解决更复杂的机器学习问题。
scikit-learn：Python中的机器学习-1
qq_44204759的博客
04-30 424
机器学习是关于构建具有可调参数的程序，这些参数可以自动调整，以便通过适应先前看到的数据来改善其行为。机器学习可以被认为是人工智能的一个子领域，因为这些算法可以被视为构建模块，使计算机通过以某种方式泛化而不仅仅是像数据库系统那样存储和检索数据项来学习更智能的行为。我们将在这里看两个非常简单的机器学习任务。第一个是分类任务：图中显示了一组二维数据，根据两个不同的类标签进行着色。
net-snmp学习笔记
08-25
medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [net-snmp学习笔记<一> — 介绍]...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值