- 博客(12)
- 收藏
- 关注
RSS订阅原创 经验风险最小化、结构风险最小化有什么区别
结构风险最小化的策略认为结构风险最小的模型是最优模型。例如，你可以考虑气候变化对不同作物产量的影响，也可以考虑市场价格的波动。经验风险最小化和结构风险最小化都是机器学习中常用的策略。经验风险最小化的策略认为，经验风险最小的模型是最优的模型。你的目标是选择一种作物，使你的收益最大化。例如，如果明年玉米的市场价格下降，或者发生干旱导致玉米产量下降，那么你就会蒙受损失。如果你使用经验风险最小化策略，那么你会根据过去几年的数据来选择一种作物。例如，如果过去几年玉米的产量和价格都很高，那么你就会选择种植玉米。
2023-08-02 11:08:26
288
1
原创 举例分别说明后验、似然、先验
有一天，你看到他穿着运动服从健身房回来，但你不知道他是怎么去的。你可以根据先验概率推断他很可能是骑自行车去的。但如果你进一步观察到他身上没有汗水，那么你就可以利用这个新信息来更新你的推断。在这种情况下，你可以使用贝叶斯定理来计算后验概率。你需要知道在不同交通方式下，他身上没有汗水的概率，这就是似然函数。你知道他通常会选择骑自行车，偶尔会开车，很少步行。这就是你对他交通方式选择的先验概率。通过计算后验概率，你可能会发现在这种情况下，他开车去健身房的概率更大。因此，后验概率是在考虑了新证据后对先验概率的更新。
2023-08-02 11:06:49
424
1
原创 如何使用numpy库创建一个简易的多层感知器（1）
②隐藏层：可以有一层或多层，每层节点数量可自由设置，每层的激活函数也可以不一样（甚至可以为每个节点分配不同的激活函数，但这样做并无太大意义，且代码会变得很复杂），本文代码默认所有隐藏层使用相同的激活函数。通常来说，多层感知器的隐藏层数量和每个隐藏层的节点数量取决于许多因素，包括数据集的大小和复杂度、模型的目标以及训练时间等。因为输入层节点仅储存输入数据，不存在权重、偏置与激活函数，所以在讨论神经网络层数时，不计算输入层，即一个有着5层结构的神经网络实际上包含1个输入层、4个隐藏层与1个输出层。
2023-05-24 12:39:53
247
原创 哪些激活函数适合回归？哪些适合分类？
对于分类问题，输出层通常使用 softmax 激活函数（对于多分类问题）或 sigmoid 激活函数（对于二分类问题）。对于隐藏层，也可以使用常用的激活函数，如 ReLU、sigmoid 或 tanh 等。对于回归问题，输出层通常不使用激活函数，或者使用线性激活函数（即 f(x) = x）。这样可以使得模型的输出值可以覆盖实数域。对于隐藏层，可以使用常用的激活函数，如 ReLU、sigmoid 或 tanh 等。不同类型的问题需要使用不同类型的激活函数。在选择激活函数时，应根据问题的具体情况来确定。
2023-05-23 21:31:11
1555
2
原创 MLP神经网络适合用于解决分类问题还是回归问题？
多层感知机（Multilayer Perceptron，MLP）神经网络既可以用于解决分类问题，也可以用于解决回归问题。对于分类问题，MLP 的输出层通常使用 softmax 激活函数（对于多分类问题）或 sigmoid 激活函数（对于二分类问题）。对于回归问题，MLP 的输出层通常不使用激活函数，或者使用线性激活函数（即 f(x) = x）。对于隐藏层，也可以使用常用的激活函数，如 ReLU、sigmoid 或 tanh 等。总之，MLP 神经网络既可以用于解决分类问题，也可以用于解决回归问题。
2023-05-23 21:21:57
1255
原创 损失函数杂记
在机器学习领域，损失函数（Loss Function）通常用来衡量模型在训练数据集上的性能，而误差（Error）则通常用来衡量模型在测试数据集上的性能。对于回归问题，常用的损失函数有均方误差（Mean Squared Error，MSE）、平均绝对误差（Mean Absolute Error，MAE）和 Huber 损失函数等。对于分类问题，常用的损失函数有交叉熵损失（Cross Entropy Loss）、Hinge 损失函数和指数损失函数等。因此，损失函数的输出值是损失，而不是误差。
2023-05-23 21:20:28
63
原创 神经网络中常用的激活函数
虽然神经网络中常用的激活函数通常是一元函数，但也有一些多元函数可以用作激活函数。例如，最大值归一化（Maxout）激活函数是一个多元函数，它接受多个输入并输出它们的最大值。对于多元函数（即具有多个自变量的函数），偏导数表示函数相对于其中一个变量的变化率，而其他变量保持不变。对于一元函数（即只有一个自变量的函数），导数表示函数在某一点处的变化率。因此，对于一元函数，导数和偏导数是相同的，因为只有一个自变量。但是，对于多元函数，导数和偏导数是不同的概念。是负斜率，即当输入为负数时，函数的斜率。
2023-05-23 20:58:03
283
原创 多层感知器(MLP)的输出层和隐藏层结构上是一样的吗?
输出层和隐藏层结构上是类似的，但不完全一样。它们都是由多个节点组成的，每个节点都有自己的输入值、权重、偏差和激活函数。不同的是，输出层的节点数量和激活函数需要根据问题的类型和目标来确定，而隐藏层的节点数量和激活函数可以根据实验效果来调整。另外，输出层的输出值是神经网络的预测结果，而隐藏层的输出值是作为下一层的输入值。
2023-05-23 18:03:31
243
原创 梯度爆炸是什么
梯度爆炸是指在训练神经网络时，梯度的值变得非常大，导致网络参数的更新过大，从而使得网络不稳定，无法从训练数据中学习。12梯度爆炸的原因是与梯度消失类似的。在反向传播时，每个参数的梯度都是多个数值的乘积。如果这些数值都大于1，那么梯度就会随着层数的增加而指数增长。3梯度爆炸会带来一些问题，如：
2023-05-23 17:42:14
314
原创 损失函数的选择与激活函数的类型有关吗？
损失函数的选择与激活函数的类型有一定的关系。一般来说，激活函数的输出范围和形式应该与损失函数的输入范围和形式相匹配。例如，如果激活函数的输出是概率值，那么损失函数应该是交叉熵损失函数或其他能够度量预测概率和真实概率之间差异的损失函数。如果激活函数的输出是连续值，那么损失函数应该是平方损失函数或绝对损失函数或其他能够度量预测值和真实值之间距离的损失函数。12此外，激活函数的性质也会影响损失函数的优化效果。例如，如果激活函数是非线性的，那么损失函数可能存在多个局部最优解，导致优化算法陷入局部最小值。如果激活函数
2023-05-23 17:37:46
44
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人