weixin_59049646的博客

PCA通过正交变换将一组可能相关性很高的变量转换为一组线性不相关的变量，这些新的变量称为主成分。在数学上，PCA通过保留低阶主成分，忽略高阶主成分，从而实现对数据的降维处理。PCA的主要应用包括数据压缩、噪声过滤、特征提取等。在许多机器学习和数据分析任务中，PCA被广泛用于降维，以减少数据的复杂性和提高算法的性能。

它通过寻找最优的决策边界，即最大间隔超平面，来对数据进行分类。

梯度指示了函数增长最快的方向，因此在优化过程中，我们沿着梯度的相反方向（下降最快的方向）调整参数，以寻找函数的最小值。但是逻辑回归处理的是分类问题，y i 不是0就是1，而不是线性回归中的连续的数，所以均方误差在这里可能是一个非凸函数，则如下图所示，图片来源于吴恩达的机器学习课程的笔记，图中的J(θ)为损失函数。为了求解模型的最优参数，我们首先要找到合适的损失函数，并极小化损失函数，当损失最小时，此时的参数就是最优参数。，其中zi是第i个样本的线性组合，yi是对应的类别标签（0或1)。

由于特征条件独立假设，P(X|Y)可以写成所有特征的条件概率的乘积，即∏P(Xi|Y)。先验概率分布P(Y=Ck)表示类别Ck出现的概率，而条件概率分布P(Xi|Y=Ck)表示在类别Ck下特征Xi出现的概率。2. 特征条件独立假设：朴素贝叶斯算法假设各个特征之间相互独立，对于一个给定的类别y，任何一个特征xi的出现不会影响其他特征出现的概率。5. 判定准则：最终，朴素贝叶斯分类器的判定准则可以表示为 hnb(x) = arg max P(c) ∏P(xi|c)，其中c遍历所有可能的类别。

此外，构造决策树时还可以采用不同的算法，比如ID3、C4.5和CART，这些算法各有特点，但核心思想是相似的，即通过递归地选择最佳属性来划分数据构建树结构。CART算法是三种算法中最常用的一种决策树构建算法**(sklearn中仅支持CART：构造出来的是二叉树)**总的来说，C4.5算法通过这些步骤来构建决策树，旨在提高分类的准确性和模型的泛化能力。H(D|A)：按照特征属性A进行划分，划分后两个叶子结点按便签1,0计算的信息熵的和。CART算法构建的一定是二叉树，ID3和C4.5构建的不一定是二叉树。

在视觉上，一个好的模型在ROC图上的表现通常是偏左上角的，而在PR曲线中则是偏右上角的。因此，ROC曲线越靠近坐标的左上角越好。从上图不难发现，precision与Recall的折中(trade off)，曲线越靠近右上角性能越好，曲线下的面积叫AP分数，能在一定程度上反应模型的精确率和召回率都很高的比例。F1（计算公式略）当P和R接近就也越大，一般会画连接(0,0)和(1,1)的线，线和PRC重合的地方的F1是这条线最大的F1（光滑的情况下），此时的F1对于P-R曲线就好象AUC对于ROC一样。

KNN（K-Nearest Neighbor）算法是机器学习算法中最基础、最简单的算法之一。它既能用于分类，也能用于回归。KNN通过测量不同特征值之间的距离来进行分类。KNN算法的思想非常简单：对于任意n维输入向量，分别对应于特征空间中的一个点，输出为该特征向量所对应的类别标签或预测值。KNN算法是一种非常特别的机器学习算法，因为它没有一般意义上的学习过程。它的工作原理是利用训练数据对特征向量空间进行划分，并将划分结果作为最终算法模型。

下载之后需要选择路径，安装在D盘的anaconda当中，然后手动勾起来添加环境，若没有勾起来需要手动添加环境，然后就会显示completed的页面，最后就会显示安装成功。创建虚拟环境 conda creat -n 123 python=456，表示创建名字为123 python版本为456的虚拟环境。conda使用的是国外源，当使用过程中需要使用conda安装时需要到国外下载，下载时间长且速度慢，使用需要选择清华镜像。删除虚拟环境 conda remove -n 123 --all。