petSym的博客

参考：百面机器学习西瓜书02 逻辑回归Logistic Regression（对数几率回归）2.1 逻辑回归和线性回归二者都使用极大似然法来对训练样本进行建模。在求解超参数的过程中，都可以使用梯度下降的方法。逻辑回归处理的是分类问题，线性回归处理的是回归问题，这是两者的最本质的区别。逻辑回归给定自变量和超参数后，得到因变量的期望E[y∣x;θ]E[y|x;\theta]E[y∣x;θ]，并基于此期望来处理预测分类问题;线性回归求解y=θTx+by=\theta^T x.

文章目录1.3 非线性SVM与核技巧1.3.1 核函数1.3.2 核技巧在支持向量机中的应用1.3.3 常用核函数1.4 其他问题1.4.1 是否存在一组参数使SVM训练误差为0：是1.4.2 训练误差为0的SVM分类器一定存在吗：是1.4.3 加入松弛变量的SVM的训练误差可以为0吗：不一定1.3 非线性SVM与核技巧非线性问题往往不好求解，所以希望能用解线性分类问题的方法解决这个问题。所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。

文章目录①从原问题到对偶问题②对偶问题的解的形式化简③从对偶问题的解到原问题的解④从原问题的解到分离超平面、决策函数、支撑向量假设训练数据集不是线性可分的。通常情况是，训练数据中有一些特异点（outlier），将这些特异点除去后，剩下大部分的样本点组成的集合是线性可分的。①从原问题到对偶问题对每个样本点(xi,yi)(x_i,y_i)(xi​,yi​) 引进一个松弛变量，使函数间隔加上松弛变量大于等于1。约束条件变为yi(w⋅xi+b)≥1−ξi,i=1,2,...,Ny_i(w\cdot x

文章目录①从原始问题到对偶问题②对偶问题的解的形式化简③从对偶问题的解到原问题的解④从原问题的解到分离超平面和决策函数、支撑向量参考李航统计学习方法第7章。支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。也就是说，不仅将正负实例点分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将它们分开。这样的超平面应该对未知的新实例有很好的分类预测能力。可以通过求解对偶问题而得到原始

文章目录余弦相似度余弦相似度和余弦距离和欧式距离的比较和关系余弦距离不是一个严格定义的距离在模型训练过程中，我们也在不断地评估着样本间的距离，如何评估样本距离也是定义优化目标和训练方法的基础。在分析两个特征向量之间的相似性时，常使用余弦相似度来表示。余弦相似度的取值范围是[−1,1]，相同的两个向量之间的相似度为1。余弦相似度两个向量夹角的余弦cos(A,B)=A⋅B∣∣A∣∣2∣∣B∣∣2cos(A,B)=\frac{A\cdot B}{||A||_2 ||B||_2} cos(A,B)

设线性方程组为{a11x1+a11x2+⋯+a1nxn=b1a21x1+a22x2+⋯+a2nxn=b2......an1x1+an2x2+⋯+annxn=bn\begin{cases}a_{11}x_1+a_{11}x_2+\cdots+a_{1n}x_n=b_1\\a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2\\......\\a_{n1}x_1+a_{n2}x_2+\cdots+a_{nn}x_n=b_n\\\end{cases}⎩⎪⎪⎪⎨⎪⎪⎪⎧​

文章目录信息论熵距离测度信息论熵EntropyKaTeX parse error: Undefined control sequence: \cal at position 19: …X)=-\sum_{x\in \̲c̲a̲l̲ ̲X}p(x)\log p(x)…Cross-entropy交叉熵KaTeX parse error: Undefined control sequ...