- 博客(6)
- 收藏
- 关注
RSS订阅原创 多层感知机、模型欠拟合与过拟合问题
从上图中的模型复杂度与过拟合、欠拟合的关系来看，权重衰减和暂退法都是通过降低模型复杂度来达到抑制过拟合的目的（个人理解），权重衰减通过对权重的取值范围施加惩罚来降低模型的表达力，暂退法则是通过随机删除神经元的方式实现（或者理解为通过引入噪声来增加数据集规模）。这两种做法都能够避免某一小部分神经元对网络结果起重要影响的情况，使得模型参数分布更加均匀。在实践中权重衰减和暂退法都能够有效的抑制过拟合，并且两者可以结合使用以达到更好的训练效果。
2025-01-25 03:03:40
930
原创 雅可比矩阵在积分换元中的应用
这一现象说明，目前计算机和人脑的工作方式仍呈现出较为明显的不一致性，计算机擅长应对繁琐但直接的问题，而计算机在如何处理类似数学这种更为抽象的东西方面，仍有很大进步空间。这也说明在进行多重积分公式的积分换元时，需要考虑的是积分面元之间的坐标映射关系以及缩放比例，而不是简单的积分面积元之间的粗暴等价相乘。关于行列式的计算方式个人感觉是挺奇怪的，据说是来源于线性方程组求解，这一点不进行深入探讨（可参考博客[3]），我们所重点关注的是其几何含义，即行列式的绝对值等于行列式中的向量所组成的平行多面体的体积。
2025-01-24 16:44:36
1058
原创 Softmax回归——基于葡萄酒品类鉴别数据集
3）Sigmod回归可以认为是Softmax回归的简化版，二分类的Softmax回归的权重参数量是Sigmod回归的两倍，因此模型的表达能力要更强。1）对数几率回归采用sigmod函数进行分类，同样是将输出假设为概率，因此同样可以利用最大似然准则推导出交叉熵损失函数，两者损失函数是一致的。所采用的数据集共有三个类别葡萄酒，包括酒精含量、苹果酸，色调等13种不同的特征，一共178个样本，将其中30%作为测试集。最大，因此在假设Softmax输出为概率的条件下，基于最大似然准则推导的损失函数为。
2024-11-17 05:16:48
1539
原创 线性回归——基于燃油汽车效率数据集
即使如此，冥冥之中我们又期待有一个万能的模型和一套固定的机制来解决这世间的所有问题，大模型或许就是我们在这一方面的实践，大模型就相当于这一个万能的模型，但问题的核心是如何确定这一套固定的机制，目前对这种机制的研究主要集中在模仿人脑这一块。个人认为，模仿人脑的机制是必须的，毕竟人工智能就是起源与此，即使机器本身这种特有的0-1架构有其更适合的机制来达到智能，但我们也很难想象得到，就像生活在三维空间的我们很难想象的到四维空间是怎样的(并不是没有可能性，只能说很难)。为用于预测的数据样本的特征矩阵，其中，
2024-10-21 22:09:03
1719
原创 信号AD采样的量化误差分析
分别采用3位AD和4位AD进行采样，所得到信号量化误差的信噪比分别为19.10dB和25.39dB。下图为AD位数从3位到25位信噪比的变化情况，可以看到信噪比的增量在6dB左右上下浮动，由此验证了上面所推导的结论。设置正弦信号频率60Hz，时间0.2s，幅值为1，采样率1000Hz，用3位AD采样。仿真得到的信号原始波形、量化后的波形以及量化误差如下图所示，可见，在较短的采样时间间隔内，量化误差可以近似为线性模型。，这种假设在信号满足奈奎斯特采样率的条件是十分合理的，即采用最大量化误差的假设。
2024-09-28 06:02:09
1328
1
原创 利用最大似然估计和最小二乘法的直线拟合问题
即为直线拟合的最小二乘解，同时也是高斯分布假设下的最大似然估计，这两者是等效的。而最大似然估计则是参数估计问题中的一个非常常用的方法。（也称为似然函数）来表示，此时利用最大似然估计（MLE）所估计的参数可表示为。取何值时似然函数最大，因此使得上述对数似然函数最大可以简化为最小二乘问题，即。如果最大似然函数是可微并且存在上界，那么则可以通过求导的方式来求解参数。一般对似然函数取对数会方便后续的求解，其对数似然函数为。个点，所选取的点分布与直线拟合的结果如下。，因为极值点的导数为零，即。
2023-10-08 15:23:06
727
1
Matlab app设计源程序-基于B站小刘老师的App Designer基础教程
2024-10-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人