qq_50213874的博客

•记[x’, y’]=f([x, y])为像素坐标的一个映射，实现 f 所表示的图像形变，并采。下角像素的坐标为(xi, yj+1)，右上角像素的坐标为(xi+1, yj)。设左上角像素的坐标为(xi, yj)，右下角像素的坐标为(xi+1, yj+1)，则左。该像素在目标图像中的位置为(x',y')，其中 x'和 y'也是实数，表示其在目标图。始图像中的一个像素点(x,y)要映射到目标图像的位置(x',y')上。图像中的位置为(x,y)，其中 x 和 y 为实数，表示其在原图像中的浮点坐标。

λ较大，则特征对于代价函数的影响较大，结果是算法会尽量降低参数的影响，可能导致欠拟合。λ较大，则特征对于代价函数的影响较大，结果是算法会尽量降低参数的影响，可能导致欠拟合。1.经过几次实验，发现应该记住回归方法中的一些公式，比如损失函数以及求导后的结果，海森矩阵等等，整体的结构和流程都是差不多，记忆后这样再写代码的时候更快，比较方便。

在这个练习中，假设一所高中有一个数据集，它代表了40名被大学录取的学生和40名未被录取的学生。每个(x(i）、y(i））培训示例都包含一个学生在两个标准化考试中的分数，以及一个学生是否被录取的标签。你的任务是建立一个二元分类模型，根据学生在两场考试中的分数来估计大学录取机会。牛顿法：是通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。梯度下降法：是通过梯度方向和步长，直接求解目标函数的最小值时的参数。缺点：海森矩阵的逆计算复杂，代价比较大，因此有了拟牛顿法。优点：计算简单，实现容易。

DLRM是Facebook在2019年提出的用于处理CTR问题的算法模型，与传统的CTR模型并没有太大的差别，文章本身更注重的是工业界对于深度模型的落地，在文中介绍了很多深度学习在实际落地过程中的细节，包括如何高效训练。第一，如何处理离散特征。CTR的训练样本中包含了大量的离散的类别特征，这样的数据是不能直接放入到深度学习模型中，在DLRM中，通过Embedding层将离散的特征转化成稠密的特征；特征交叉对于CTR问题的求解具有重要的作用，在DLRM模型中，模仿着FM算法中的做法，对向量两两做点积。

另一种观察这种过度拟合的方法是查看在不同数据子集上训练的模型，例如，在下图中，我们训练了两棵不同的树，每棵树都在原始数据的一半上。很明显，这并不是真实的、内在的数据分布的结果，而更多的是数据的特定采样或噪声特性的结果。然后我们运用sklearn中的决策树进行分类训练，并借助指导给出的可视化函数绘图：建立在该数据上的简单决策树将根据某个定量标准沿着一个或另一个轴迭代分割数据，并在每个级别根据新区域内的多数投票分配新区域的标签。②森林中树之间的相关度：树之间的相关度越大，则随机森林的分类性能越差。

首先对每个属性尝试分类并计算出信息熵，从结果可以看出第0维度的信息熵最小，即纯度最高，为0.333.所以我们接下来用第0维度的属性进行决策划分，可以看出划分后的左子树的信息熵为0，即全属于一个类，右子树的信息熵为0.5.所以接下来我们只用对右子树进行划分，我们开始尝试对右子树进行决策划分，从结果可以看出第1维度的信息熵最小，即纯度最高，为0.110.所以我们接下来用第1维度的属性进行决策划分，可以看出划分后的左子树的信息熵为0.168，右子树的信息熵为0.042.可以通过集成学习之类的方法来改善。

每一行代表一个图像，其中第一项是标签，而下面的第一项是像素的索引和相应的灰度值。下面是gamma=100，与之前的相比，可以看见蓝色类别的样本点的分布曲线都比较窄，此时的决策边界就是这些蓝色类别样本点周围围绕的区域，只有样本点在这些区域内才判定样本点为蓝色类别，否则，将样本点判定为红色类别，这也出现了轻微的过拟合现象。这里我们使用高斯核函数，即RBF，其中gamma=1，然后绘制出决策边界，如下图所示：这是一个非线性的分类边界，虽然有一些分类错误，但这些点都是噪声点，所以我们得到了较好的决策边界。

上图是使用RBF核函数的SVM得到的分类边界，gamma等于100，由于现在的gamma值比较大，所以可以看见每个蓝色类别的样本点的分布曲线都比较窄，此时的决策边界就是这些蓝色类别样本点周围围绕的区域，只有样本点在这些区域内才判定样本点为蓝色类别，否则，将样本点判定为红色类别。下面是使用高斯（RBF）核函数的SVM，也是使用Pipeline将数据归一化和核函数为“rbf”的SVM链接在一起，其中的gamma参数值取值越大表示的就是高斯函数（正太分布）的那个分布曲线越高瘦，分布曲线变的尖尖的。

我们在param_grid中提前设置需要调整的参数，比如用于kneighbors查询的默认邻居的数量：n_neighbors从1到10，和用于Minkowski metric（闵可夫斯基空间）的超参数p ，使用的是闵可夫斯基空间从1到5.然后运行网格搜索就可以从设定的参数范围找到最好的模型并返回对应的参数，对于超参数的选择非常方便。而且用经过归一化处理后的数据进行模型训练，最后用同样归一化处理过的测试集进行验证，发现结果出奇的好，所以对数据进行合适的预处理，比如归一化，就会得到较好的模型训练。

但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。2）需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。2）对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。根据上述的这些，我们就可以计算给定数据在每个类上的概率，取其中的最大值，即该数据点属于哪一个类。

其中矩阵的行表示真实值，矩阵的列表示预测值，混淆矩阵能够帮助我们迅速可视化各种类别误分为其它类别的比重，这样能够帮我们调整后续模型，比如一些类别设置权重衰减！下图为P-R图，即查准率为纵坐标，召回率为横坐标，若其中有多条曲线，则线条与坐标系包围的面积越大，说明模型的性能越好，其中越接近（1，1），性能越好。下图为ROC曲线，即真正率为纵坐标，假正率为横坐标：在此图中，AUC，即曲线下的面积越大，说明模型的性能越好，越接近（0，1），表示性能越好。"""计算y_true和y_predict之间的准确率"""

这是第二个示例中，随着特征个数保留的变化，方差的变化情况，从图中可以看出，当保留特征数为2时，方差仅仅只有0.2左右，所以这就是为什么正确率只有60%。当特征数在30左右时，方差增加的很缓慢，区域稳定，所以当保留95%的方差时，数据降维到28维，且正确率为0.98。这是第一个示例，图中紫色散点图是原来数据的二维特征，图中红色散点是用PCA将2维数据降至1维后，又返回到二维绘制的图像，这就相当于将紫色的点投影到红色所在的线上。1.主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。

但是应该根据数据的规模选择正规方程解法和梯度下降解法，吴恩达教授指出，如果数据集规模小于一万，则应该选择正规方程解法，数据集规模大于一万，则应该选择梯度下降法。根据实验中多次选择不同的学习率，从画出的图像种可以清楚的知道：若学习率太小，则会需要迭代很多次才能到达最佳，这其中的时间太漫长。若学习率太大，则会跨过最佳值，经过反复迭代可能会远离最佳值，最后不会收敛。由上图可知，当alpha很小时，损失函数收敛比较慢，需要很长时间才能到达最小值，而alpha=1时，损失函数收敛很快，所以是个不错的学习率。

y值是以米为单位测量的高度，x值是与身高对应的男孩的年龄。每个身高和年龄元组在我们的数据集中构成了一个训练示例(x(i)，y(i)。关于学习率的问题，在这里总结一下。由于刚开始接触梯度下降，上网看了一些教程和吴恩达教授的讲解，感觉明白了梯度下降的含义，弄明白了公式的意义，也学到了一些技巧，比如特征缩放，和如何选取学习率，变量应该同时更新值等等。通过本次实验，熟悉了建立线性回归模型的基本流程，掌握了梯度下降的方法，课后也学习了基本matlab知识，感觉对自己的帮助很大，希望之后的实验能够更准确的做出来。