程适场的博客

  ⟺  \iff⟺Sw−1Sbθ=λθ(6)\textbf{S}_{w}^{-1}\textbf{S}_b\theta=\lambda\theta\tag{6}Sw−1​Sb​θ=λθ(6)此时，λ\lambdaλ为Sw−1Sb\textbf{S}_{w}^{-1}\textbf{S}_bSw−1​Sb​的特征值，θ\thetaθ为对应的特征向量，倘若λ\lambdaλ存在多个，选取λ\lambdaλ较大的特征值对应的特征向量，证明如下：Sw\textbf{S}_wSw​为实对称矩阵，那么存在Sw

符号说明问题引入已知一个样本存在两个属性，根据属性的不同可以分为三个类别，现需要依据某个样本的属性值判断该样本属于哪一个类别。属性1属性2类别4212412313614419100680950870108081-171-19-3-180-170-1...

逻辑回归常常用于二分类问题中。预备知识sign(x)={1x≥00x<0(1)sign(x)=\left\{\begin{matrix}1&x\geq{0}\\0&x\lt{0}\end{matrix}\right.\tag{1}sign(x)={10​x≥0x<0​(1)

符号说明基本思想梯度下降法的基本思想非常简单，想象一下自己在一个盆地中，现在需要进入到盆地最底部，那么最简单的方式就是一直往下走，直到不能再向下走为止，此时就到达了盆地最底部。那么对于一个复杂的函数而言，找到一个合适的公式去描述这一简单的思想，就可以求出函数的极小值位置了。算法推导高维函数带有佩亚诺余项的一阶泰勒展开式如下f(x)=f(x0)+▽f(x0)T(x−x0)+o(∣∣x−x0∣∣)f(\textbf{x})=f(\textbf{x}_0)+\triangledown{f(\text

符号说明f(x)f(\textbf{x})f(x)表示函数，某个x\textbf{x}x向量对应的值是个常量。x\textbf{x}x表示函数空间中在各个轴上的未知变量，n维。以(x,y,z)三维空间举例子,x\textbf{x}x表示x,y两个轴上的变量，f(x)f(\textbf{x})f(x)代表在z轴上的映射，是一个常量。以后用xix_ixi​表示非f(x)f(\textbf{x})f(x)值所在的轴，y表示在f(x)f(\textbf{x})f(x)值所在的轴。举个例子，三维空间表示成(

线性回归几乎是所有机器学习的入门课程，但是由于符号定义表达方式不同，造成了很多人在入门时期感觉跟多向量非常矛盾。比如所行向量还是列向量，xi\textbf{x}_ixi​以及xj\textbf{x}_jxj​究竟是行还是列等等，本篇将先介绍向量以及列表相关的例子，然后再介绍线性回归的内容。入门解惑对于大多数教程而言，一份统计表的形式往往如下所示:示例1：示例1为默认格式，也是大多数博客或文章采用的格式。属性1属性2属性3属性4…元组1元组2

问题引入现有某商店分析影响销售额的因素有哪些，做了以下调查。某月日期x1\textbf{x}_1x1​：{1，2，3}/天空气质量x2\textbf{x}_2x2​：{0.1，0.6，0.3}/等级上班时间x3\textbf{x}_3x3​：{8,8.5,9}/时假装目前这三个影响因素太多，需要降维处理。如果要降到2维，最直接的做法就是将其中一个因素xi\textbf{x}_ixi​去除，然后分析剩余的两个，但是这种做法过于粗暴，是否存在一种更加合理的方法去处理。----------------