- 博客(14)
- 收藏
- 关注
RSS订阅原创 深度学习笔记—数值稳定和模型初始化
有人认为模型参数初始化的选择并不是很重要，相反，初始化方案的选择在神经网络学习中起着举足轻重的作用，它对保持数值稳定性至关重要，此外，这些初始化方案的选择可以与非线性激活函数的选择有趣的结合在一起。我们选择哪个函数以及如何初始化参数可以决定优化算法收敛的速度有多快。糟糕选择可能会导致我们在训练时遇到梯度爆炸或梯度消失。
2024-01-15 16:01:09
351
原创 正则化技术——暂退法
为了缩小训练和测试性能之间的差距，应该以简单的模型为目标。一种简单性以较小维度的形式展现，通过减小数据特征的维度达到防止过拟合的目的，此外上节中的权重衰减是将参数的范数作为一种有用的简单性度量。
2024-01-15 13:01:06
529
原创 正则化技术——权重衰退
在训练参数化机器学习模型时，权重衰减（weight decay）是最广泛使用的正则化的技术之一，它通常也被称为L2正则化。一种简单的方法是通过线性函数中的权重向量的某个范数来度量其复杂性，例如。要保证权重向量比较小，最常用方法是将其范数作为惩罚项加到最小化损失的问题中。使用L2范数的一个原因是它对权重向量的大分量施加 了巨大的惩罚。这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。在实践中，这可能使它们 对单个变量中的观测误差更为稳定。
2024-01-14 20:48:11
511
1
原创 模型选择、欠拟合和过拟合
在深度学习中，我们的目标是发现某些模式，这些模式捕捉到了我们训练集潜在总体的规律。但当我们使用有限的样本时，可能会遇到这样的问题：当收集到更多的数据时，会发现之前找到的明显关系并不成立。将模型在训练数据上拟合的比在潜在分布中更接近的现象称为过拟合（overfitting），用于对抗过拟合的技术称为正则化（regularization）。
2024-01-14 19:53:57
573
1
原创 Python学习笔记—numpy
创建数组最简单的办法就是使用array函数。它接受一切序列型的对象（包括其他数组），然后产生一个新的含有传入数据的Numpy数组。以一个列表的转换为例。嵌套序列（比如由一组等长列表组成的列表）将会被转换为一个多维数组：NumPy数组arr2的两个维度的shape是从data2引入的。可以用属性ndim和shape验证：除np.array之外，还有一些函数也可以新建数组。比如，zeros和ones分别可以创建指定长度或形状的全0或全1数组。empty可以创建一个没有任何具体值的数组。
2023-12-20 15:38:23
49
1
原创 Python学习笔记—文件和操作系统
如果输入f = open(path, 'w' ),就会有一个新文件被创建在path，并覆盖掉该位置原来的任何数据。另外有x文件模式，它可以创建可写的文件，但是如果文件路径存在，就无法创建。下图列出了所有的读/写模式。默认情况下，文件是以只读模式（'r'）打开的。如果使用open创建文件对象，一定要用close关闭它。
2023-12-19 17:14:30
22
原创 Python学习笔记—函数
函数是python中最主要也是最重要的代码组织和复用手段。作为最重要的原则，如果你要重复使用相同或非常相似的代码，就需要写一个函数。通过给函数起一个名字，还可以提高代码的可读性。
2023-12-19 16:24:08
28
原创 Python学习笔记—字典
字典可能是Python最为重要的数据结构。它更为常见的名字是哈希映射或关联数组。它是键值对的大小可变集合，键和值都是Python对象。
2023-12-18 19:51:07
34
原创 深度学习笔记-图片分类网络
2、工具函数2.1 计数器 2.2 图片显示函数2.3 损失函数绘图 2.4 计算分类正确的数量 3.数据集处理 4. 定义网络模型 5. 定义优化器6. 定义损失函数7. 训练过程训练一个epoch 测试函数训练函数开始训练
2023-11-24 18:33:03
39
原创 深度学习笔记-线性回归
构建数据集 首先定义一个数据生成函数 然后定义w, b, 生成数据 数据可视化，画出散点图读取数据集定义网络 定义误差函数 定义优化器训练过程
2023-11-23 21:47:49
77
原创 零基础入门声音识别
这个项目是我高级人工智能的大作业，也是我第一次参加此类比赛，作为初学者，经过几天的学习，主要是参考大佬在论坛发的贴子，感觉收获很大，在这里记录一下，希望以后能像大佬们独立写出所有的代码。
2023-11-20 20:58:08
199
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人