出门左拐是海的博客

class sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False, svd_solver=’auto’, tol=0.0, iterated_power=’auto’, random_state=None)主成成分分析(Principal Component analysis, PCA)利用数据的奇异值分解进行线性降维，将数据投影到低维空间。它采用了基于LAPACK实现的完全SVD方法或者Halko等在2009年提

【转载】理解代价函数1、代价函数是什么？代价函数就是用于找到最优解的目的函数，这也是代价函数的作用。损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。2、代价函数作用原理对于回归问题，我们需要求出代价函数来求解最

机器学习入门基础知识（一）（复习向）本文为机器学习基础知识复习时进行的相关知识点整理，并不是纯小白向，偏向于复习向，未完，后续会继续补充。图片取自网络。一、基本概念1.什么是机器学习（区分AI/ML/DL）1.1概念机器学习是针对某些任务，通过旧知识改进算法的设计和性能以获得新知识的过程。1.2关系深度学习是机器学习的子集，机器学习又是人工智能的子集。人工智能：使计算机能够代替人类工作的技术机器学习：能够不通过明确的编程就可以进行学习的技术深度学习：通过神经网络学习数据的基本特征的技术

优化器keras.optimizers.Adam()详解1.简介在监督学习中我们使用梯度下降法时，学习率是一个很重要的指标，因为学习率决定了学习进程的快慢（也可以看作步幅的大小）。如果学习率过大，很可能会越过最优值，反而如果学习率过小，优化的效率可能很低，导致过长的运算时间，所以学习率对于算法性能的表现十分重要。而优化器keras.optimizers.Adam()是解决这个问题的一个方案。其大概的思想是开始的学习率设置为一个较大的值，然后根据次数的增多，动态的减小学习率，以实现效率和效果的兼得。2.

「交叉验证」到底如何选择K值？原文链接：https://cloud.tencent.com/developer/article/1410946交叉验证(cross validation)一般被用于评估一个机器学习模型的表现。更多的情况下，我们也用交叉验证来进行模型选择(model selection)。往远了说，交叉验证可以用于评估任何过程，但本文仅讨论机器学习评估这个特定领域。交叉验证有很长的历史，但交叉验证的研究有不少待解决的问题。拿最简单的K折交叉验证来说，如何选择K就是一个很有意思的话题。而更

EarlyStopping()1.函数简介使用该函数的目的是为了防止过拟合，因为在我们训练模型的过程中，很有可能出现过拟合的情况。这个时候训练集表现很好，但是验证集表现就会下降。这时候我们需要提前结束训练，得到“最佳”（只能判断是在全局范围内最佳）的结果。具体见早停法2.参数详解以下给出样例EarlyStopping(monitor='val_loss', min_delta=0, patience=10, verbose=2, mode='auto', restore_best_weights

过拟合解决——早停法一、早停法简介（Early Stopping）当我们训练深度学习神经网络的时候通常希望能获得最好的泛化性能(generalization performance，即可以很好地拟合数据)。但是所有的标准深度学习神经网络结构如全连接多层感知机都很容易过拟合：当网络在训练集上表现越来越好，错误率越来越低的时候，实际上在某一刻，它在测试集的表现已经开始变差。图1、理想中的训练集误差和验证集的误差模型的泛化能力通常使用模型在验证数据集（validation set）上的表现来评估。随着网

Keras学习率调整1.为什么要降低由于机器学习是一个逐渐逼近最优结果的过程，学习率又类似于“步伐”，决定了每次向着最优结果前进的程度。所以在初期学习率很高可以使得逼近过程快速，但是后期学习率还是很高的话，会导致“步伐”太大而无法达到最优结果的位置。所以我们需要随着逼近结果而降低学习率（降低步伐）。让程序从开始的大步前进变成小步试探。2.方法keras提供了两种方法进行学习率的调整，为：...