NelsonCheung的博客

动机许多类型的数据维度比较大，导致了计算时间复杂度高。许多高维数据常常聚集在一个低维空间中，例如三维平面的点位于同一个平面上。我们希望找到数据的一些主方向，而主方向的数量是远远小于数据的维度的。使用这些主方向就可以近似地表示原始数据，从而能够达到降维的目的。这种分析方法被称为主成分分析方法(Principal components analysis)。最小近似误差假设我们找到一组在高维空间中的向量集{u1,u2,⋯ ,uM}\{u_1,u_2,\cdots,u_M\}{u1​,u2​,⋯,uM

∂a∂x=0\frac{\partial a}{\partial \boldsymbol x}=0\\∂x∂a​=0∂x∂x=I\frac{\partial \boldsymbol x}{\partial \boldsymbol x}=I\\∂x∂x​=I∂Ax∂x=AT\frac{\partial A\boldsymbol x}{\partial \boldsymbol x}=A^T∂x∂Ax​=AT∂xTA∂x=A\frac{\partial \boldsymbol x^TA}{\p

二分类问题Sigmoid/logistic函数：σ(z)=11+e−z\sigma(z)=\frac{1}{1+e^{-z}}σ(z)=1+e−z1​通过sigmoid函数，我们可以将线性回归的值域从[−∞,+∞][-\infty,+\infty][−∞,+∞]变换到[0,1][0,1][0,1]，使得我们可以用0,10,10,1来表示类别。此时，Logistic回归如下。Logistic regression：f(x)=σ(xw)f({\bf x})=\sigma({\bf xw})f

Linear Regression回归回归是基于给定的特征值，预测目标变量值的过程。数学上，回归旨在构建一个函数fff来建立输入数据x=(x1,x2,⋯ ,xm)x={(x_1,x_2,\cdots,x_m)}x=(x1​,x2​,⋯,xm​)和监督值yyy的联系。此后，我们便可以使用fff来预测xxx对应的监督值y^\hat{y}y^​，即y^=f(x)\hat{y}=f(x)y^​=f(x)线性回归函数fff的形式是线性的，即fff具有如下形式f(x)=f(x1,x2,⋯ ,xm)=w0

一 事件与概率概率空间样本点：在试验中每一个可能出现的结果ω\omegaω称为样本点。样本空间：所有样本点的集合Ω\OmegaΩ称为样本空间。事件：样本点的集合。频率：重复进行nnn次试验，事件A在这nnn次试验中发生了mmm次，则称f(A)=mnf(A)=\frac{m}{n}f(A)=nm​为在这nnn次试验中A出现的频率。概率的频率解释：设在相同的条件下重复地进行试验，则随着试验次数地不断增大，事件A的频率在某一确定值附近趋于稳定，这一确定的值称为事件A的概率，记为P(A)P(A)P(A)