GoGoGo

normal equation（解析法）　　求解目标函数如下，其中XXX为所有样本的所有特征，是一个M（M个样本）行N（N个特征）列的矩阵，YYY是M个样本的真实值，是M行的列向量，ωω\omega是回归系数，是N行的列向量。 minJ(ω)=||Y−Xω||2minJ(ω)=||Y−Xω||2min J(\omega)= ||Y-X\omega||^2 　　用解析法求解ωω\ome...

机器学习算法的本质：　　在求解一个问题（输入X，输出什么？）时，不清楚问题的模型是什么，不知道各个变量之间符合什么规则（式子），所以干脆把现成的各种万能模型（线性回归、逻辑回归、SVM、神经网络等等）套用进去，希望这些万能的模型可以拟合实际问题的模型。 　　但是这些万能模型里面具体的参数是未定的，需要使用大量数据进行学习。等参数确定之后，我们的拟合模型才完全确定。参数的学习相当于损失函数最小...

分类函数　　SVM是使用一个分类超平面来分类的： f(x)=ωTx+bf(x)=ωTx+bf(x)=\omega^T x+b 　　其中ωω\omega为分类超平面的法向量。因此样本到分类超平面的距离（Margin）是有正负之分的。当样本到分类超平面的距离>0时，类别为1，距离<0时，类别为-1。距离是这样计算的： d(xi)=ωTxi+b||ω||d(xi)

数据清洗 不可忽视修复数据 用于训练和预测的样本数据，有可能口径是不一致的，如果不加以修复，可能会会导致线下效果很好，在线预测gg的惨剧。 数据首先要注意的就是，用于训练和预测的是两条数据流，这两条数据流是不是一致的，因为只要是人开发的系统，即使你自己重新写两遍，因为上下游依赖的种种东西，它就可能不一致，就可能出毛病。这是最重要的，一致性的问题是最重要的。另外你用于训练的数据，是否...

梯度下降求解　　目标函数为： J(ω)=−1M∑i=1M[y(i)log(h(x(i)))+(1−y(i))log(1−h(x(i)))]J(ω)=−1M∑i=1M[y(i)log(h(x(i)))+(1−y(i))log(1−h(x(i)))]J(\omega)=-\frac{1}{M} \sum_{i=1}^M[ y^{(i)} log ( h( x^{(i)}))+(1- y^{(i...