神经网络学习碎片汇总
TIANE-Kimmy
介里是我的学习笔记 成长记录
展开
-
为什么要用非线性的激活函数?
非线性激活函数让模型能够适应不同的任务和数据类型。就像在烹饪中,你需要不同的调料来调整口味,激活函数也是帮助神经网络“调味”的关键哦。想象一下,如果 你只用一条直线就描述两个变量之间的关系(身高和体重),你可能无法很好的捕捉到这个关系的复杂性。简单来讲,非线性激活函数能让神经网络更加灵活准确的理解复杂的数据和任务,帮助我们在许多应用中取得更好的效果。最后的输出仍然知识输入的线性组合,最终的结果依然是一条直线,这就没办法利用多层网络的优势。想象一下 你在做数学题的时候,越复杂的题目需要的工具和方法会越多。原创 2024-09-27 17:07:43 · 149 阅读 · 0 评论 -
前向传播和后向传播是啥玩意儿
前向传播和后向传播解释原创 2024-09-26 13:34:26 · 355 阅读 · 0 评论 -
学习率是自定义的吗
学习率可以是自定义的,用户可以根据经验手动设定,也可以通过动态调整策略或自适应算法进行优化。固定学习率适用于一些简单的场景,而动态调整和自适应学习率算法通常在复杂任务中表现更好,能够提高训练效率和模型效果。原创 2024-09-26 21:26:45 · 600 阅读 · 0 评论 -
什么叫步长,什么是偏置
步长:是优化过程中调整参数的速度和幅度,影响模型收敛的效率。偏置:是模型参数之一,帮助模型在没有特征输入时做出预测,并增强模型的灵活性。这两个概念在训练机器学习模型时都非常重要,理解它们可以帮助我们更好地构建和优化模型。原创 2024-09-27 13:31:11 · 236 阅读 · 0 评论 -
浅层神经网络的前向计算过程
2.权重和偏置:每个神经元(节点)都有一组权重和一个偏置。假设输入层到隐藏层的权重为W1和偏置为b1,输入层的每个节点与隐藏层的每个节点都有连接。1.输入层:将输入数据(feature)传递给网络。4.激活函数:对加权和应用激活函数(如ReLU、sigmoid或tanh),生成隐藏层的输出:。其中g是输出层的激活函数,通常是softmax(用于分类)或线性激活(用于回归)6.输出层激活:对输出层的加权和应用激活函数,生成最终输出:。这里,z1是隐藏层的加权输入。3.计算隐藏层的加权和:。原创 2024-09-27 15:29:11 · 117 阅读 · 0 评论