- 博客(20)
- 收藏
- 关注
RSS订阅原创 机器学习（二十）：偏差和方差问题
在高偏差的情况下，随着训练集规模提高，训练集误差增加，交叉验证集误差减小，越到后面，训练集误差和交叉验证集误差曲线趋于平缓。例子：给定一个二次回归模型，当有一个、两个、三个数据点，训练集误差为0或者非常非常小，但是当数据点增加，模型很难匹配上所有的训练集数据点，因此训练集误差增加。在高方差的情况下，随着训练集规模提高，训练集误差增加，交叉验证集误差减小，如果继续增加训练集数据，交叉验证集误差继续减小，可以到达性能基准线。下图的模型，训练集误差小，交叉验证集误差大，这代表方差很大。
2024-07-22 15:51:16
778
原创 机器学习（十八）：Adam算法和卷积层
在梯度下降公式：如果选择的学习率太小，梯度下降速度会很慢，如果选择的学习率太大，梯度下降会来回摆动。Adam算法的全称：AdaptiveM如果保持在大致相同的方向移动，Adam算法会提高学习率，提高梯度下降的速率。如果保持来回摆动，Adam算法会降低学习率。
2024-07-15 15:50:47
271
原创 机器学习（十七）：神经网络中的Softmax代码实现及多标签分类问题
下图的神经网络中，隐藏层用ReLU激活函数，输出层使用Softmax激活函数。
2024-07-12 14:58:48
327
原创 机器学习（十五）：常见的激活函数及如何选择
当 z ≥ 0时，g(z) = z，当 z＜0时，g(z) = 0。当处理二进制分类问题时，激活函数优先选择Sigmoid函数，预测y=1的概率。当处理回归问题，y可以是正数，也可以是负数时，激活函数优先选择线性函数。：输入一个值x，如果隐藏层和输出层的激活函数都选择线性函数：g(z)=z。：如果隐藏层的激活函数都是线性函数，输出层的激活函数是Sigmoid函数。仍然是输入值x的线性函数，输出层的激活函数仍然是Sigmoid函数。可以得到，线性函数的线性函数本身是线性函数。，相当于隐藏层没有起什么作用。
2024-07-09 15:08:01
153
原创 机器学习（十四）：模型训练步骤和TensorFlow训练代码
BinaryCrossentropy是二元交叉熵损失函数。也可以设置均方误差函数。神经网络中，可以使用model.compile()设置损失函数。定义一个模型：给定输入值x，w，b，如何用此模型计算输出值。确定损失和代价函数，计算模型的预测值和真实值的误差。根据模型训练步骤，TensorFlow代码实现如下。学习来源：吴恩达机器学习，P59-P60。其中，epochs为迭代次数。
2024-05-28 17:31:21
262
1
原创 机器学习（十二）：前向传播的代码实现
和PyTorch是两大深度学习框架，本文使用以上图的神经网络为例，代码可以写成：1、输入向量用np.array赋值2、使用Dense()构造第一层，第一层有三个神经元，激活函数是sigmoid，第一层的输入是x3、使用Dense()构造第二层，第二层有一个神经元，激活函数是sigmoid，第二层的输入是第一层激活值a14、根据第二层的激活值判断预测值。
2024-05-22 11:01:29
918
原创 机器学习（十一）：神经网络的层和前向传播
前向传播算法（Forward Propagation）：从左到右的前进方向上进行计算。选择神经网络架构时的一个典型选择是，隐藏神经元的数量随着接近输出层而减少。是第0层，中间第1、2、3层也被称为隐藏层，第4层被称为输出层。学习来源：B站吴恩达机器学习，P46-P48。，其中，l为层数，g为激活函数。下图的神经网络中，输入层。
2024-05-21 14:04:54
339
1
原创 机器学习（十）：神经网路和需求预测
输入一组特征向量是第一层隐藏层的输入，第一层隐藏层输出激活值，激活值是第二层隐藏层的输入，第二层隐藏层输出第二组激活值，第二组激活值是输出层的输入。学习来源：B站吴恩达机器学习，P42-P44。
2024-04-10 16:00:43
446
1
原创 机器学习（九）：过拟合和正则化
选取合适的特征子集，比如有20种特征，只选取适合的其中几种特征。不过有风险丢失掉有用的特征，导致模型不准确。当拥有很多特征，不知道哪些特征是重要特征时，使用正则化缩小所有的参数，不使用极端参数，使拟合更加光滑。通过把上述模型的w2、w3、w4参数减小，减小参数值的影响，就可以得到正正好的模型。特别大，那么需要减小w参数，才能减小代价函数，就会导致欠拟合。选择特别小，那么正则化将起不到作用；以平方误差代价函数为例，训练集数据量越大，模型越能避免过拟合。举个例子，下图是过拟合模型。在代价函数中引入正则化，
2024-03-16 20:30:52
422
1
原创 机器学习（八）：逻辑回归的代价函数和梯度下降
逻辑回归：如果使用平方误差代价函数来计算逻辑回归的损耗，代价函数如下图所示，有很多个局部最小值，很难得到全局最小值。
2024-03-12 17:31:11
393
1
原创 机器学习（七）：逻辑（logistic）回归及决策边界
二进制分类binary classification：输出结果target中，只有两种可能，如yes/no、true/false、1/0。决策边界除了直线外，还可以是其他曲线，如下图所示，可以设置z为多项式回归，决策边界是两个分类的边界线，决策边界的一侧全是0，决策边界的另一侧全是1。=0.7，则预测y=1的概率为0.7，y=0的概率为0.3。，一个区域都是蓝圈，一个区域都是红叉。二进制分类的输出结果y只会是0或1，当z=0时，相应的曲线为决策边界。=3为决策边界，在下图中绿线展示。
2024-03-12 14:07:03
406
1
原创 机器学习（六）：学习曲线、学习率的选择、特征工程和多项式回归
模型的特征有很多种选择，比如选择房子的长、宽作为特征来预测房价，但是也可以设计一个新的特征：房子的面积=长*宽作为特征来预测房价，显然用面积作为特征更加合理。特征工程：使用直觉或者知识，通过转换或者合并原始特征，来设计新的特征，使模型的预测更加准确。可以看到，当迭代300-400次，J下降地很少，曲线趋于平稳，说明J开始收敛。当学习曲线出现下面这两种情况：J随着迭代增大，说明代码存在bug，或者学习率。假设选择0.1，经过几个迭代，发现J随着迭代变大，就减小学习率。时，可以认为J收敛了。
2024-03-08 09:24:54
548
1
原创 机器学习（五）：特征缩放
在这种场景下，梯度下降可以更快地找到最小值。因此进行特征缩放，可以更快找到代价函数最小值。改变一点点，代价函数的值就改变很大，这就导致梯度下降时容易超过最小值对应的。（如上图的红色箭头），因此找到最小值的速度变慢。PS:并不是所有的特征都必须缩放，假设特征。以房价模型为例，假设影响房价的因素是面积。进行缩放，使其的取值范围接近呢？是第j个特征的训练集数据平均值，是第j个特征的训练集数据的标准差。是第j个特征的训练集数据平均值。缩放后相近，那可以不缩放特征。的取值范围很大，所以。的原本范围和其他特征。
2024-03-06 11:02:39
493
1
原创 机器学习（四）：多元线性回归
当特征很多时，优先使用numpy库，因为：1、代码简洁；numpy的运行速度更快的原因是，numpy支持并行硬件，如下图所示，下面这种模型只有一个特征（feature）：x，模型参数是w，b。下面这种模型有多个特征，即有多特征的多元线性回归模型，模型参数是。以下图为例，房价的影响因素有面积、房间数、楼层数、房龄，分别用。表示，如第3组特征值为[1534,3,2,30,315]方式二：使用numpy库，用向量方式计算。而for循环的方式，：训练集第i组中，第j个特征，如。：训练集第i组的特征，用。
2024-03-05 17:39:43
445
1
原创 机器学习（三）：梯度下降Gradient descent
为了找到更好的模型，需要找到代价函数的最小值。梯度下降是找到代价函数最小值的一种算法。
2024-03-01 15:54:05
908
1
原创 机器学习（一）：监督学习和非监督学习定义
1、聚类算法clustering：给定一组数据，自动把这些数据分组，把相似数据分为一组。3、降维Dimensionality reduction：把大数据集压缩成小数据集，并尽可能少的丢失信息。2、分类算法Classification：从有限个可能性的输出中，预测一个类别（通过划定分界线）1、回归算法Regression：从无限个可能性的输出中，预测一个数值（通过拟合曲线）概念：给定一组输入，没有预期输出，算法需要找到数据的特征、结构。概念：给定输入X到预期Y的映射，预测输出值。
2024-02-27 16:15:13
394
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人