机器学习
文章平均质量分 65
一些机器学习的概念
代码只写一遍
这个作者很懒,什么都没留下…
展开
-
深度学习基础:标准化与池化
常见的有Max pooling(纹理特征)和 Mean pooling(整体数据特征)。其他池化方法:随机池化(以值的概率选取),混合池化(Max/Average随机选取)。Pooling,讲一个区域的信息压缩到一个值,完成信息的抽样,获得一定程度上的平移旋转不变性。目前经常用带步长的卷积替换池化的操作。提高训练速度,稳定模型训练。原创 2024-01-25 12:50:08 · 390 阅读 · 0 评论 -
深度学习基础:激活函数选取
如果没有选取激活函数,那么神经网络的层数的累积还是线性的;但选取激活函数后,神经网络具有非线性的性质。Xavier初始化:课程的激活值和梯度的方差在传播过程中保持一致,适合Sigmoid,Tanh函数。简单的初始化方法:随机初始化 np.random.randn(n);标准初始化(配合归一化)等。ReLU (可能会陷入Dead)MSRA初始化:适合ReLU。原创 2024-01-25 11:27:55 · 533 阅读 · 0 评论 -
深度学习基础:泛化与正则化方法
泛化指,模型不仅在训练集表现良好,在未知数据(测试集)也表现良好,即具有良好的泛化能力。(模型会出现过拟合overfitting或者欠拟合underfitting的问题)。正则化,目的是要同时让经验风险和模型复杂度都较小,是对模型的一种规则约束。1. 提前终止模型训练2. 多个模型集成融合(Dropout:有n个节点的神经网络,可以看做是2**n个模型的集成;Dropout connect是随机去掉链接,可以看做2**边数量 模型的集成;等)3. K折验证。原创 2024-01-24 20:49:58 · 410 阅读 · 1 评论 -
深度学习基础:最优化算法(优化器,学习率,SGD,Adam, Momentum, NAG等)
Adam法同时包含了动量更新与学习率调整,使用梯度的一阶矩估计和二阶矩估计来动态调整学习率,Momentum和Rmspop相结合。优点简单,缺点不稳定,学习率敏感,迭代慢。其优缺点比较明显:优点是二阶的方法利用了导数的二阶信息,因为优化方向更加准确,速度更快;但是二阶需要计算或近似估计Hessian矩阵,一阶方法一次迭代更新复杂度O(N),N是参数量,二阶方法就是O(N*N),计算量大。Adam使用的是梯度的一阶矩估计和二阶矩估计(梯度的二阶矩估计,也称为梯度平方的指数加权移动平均)。原创 2024-01-24 17:55:55 · 1011 阅读 · 1 评论 -
LLM之Transformer的概念
参考文献。原创 2023-09-17 02:14:24 · 145 阅读 · 1 评论 -
Generative Adversarial Nets (GAN) 的基础知识
控制generator产生什么。原创 2023-09-12 18:44:23 · 57 阅读 · 0 评论