白话机器学习的数学总结

回归：处理连续数据如时间序列数据时使用的数据（股价、身高（有监督

分类、聚类：分类带标签（有监督），聚类无标签（无监督）

• 分类：旨在将输入数据分配到预定义的类别中，通过找到决策边界来区分不同类别的数据点。墓地是找到权重向量。
• 回归：目的是找到一个函数，该函数能够最好地描述自变量和因变量之间的关系，通常用于预测连续的数值型数据。

最优化问题是指在给定的约束条件下，选择最优的参数和方案，来使得目标函数最大化或最小化的问题。

平方的微分比绝对值简单。

函数乘以任何正常数，取最小值的点不变。

最小二乘法：是一种数学优化技术，用于通过最小化误差的平方和来寻找数据的最佳函数匹配。

最速下降法/梯度下降法：是一种迭代优化算法，旨在通过沿目标函数的负梯度方向寻找局部最小值。缺点是计算量大，时间长，效率低，容易陷入局部最优解

thetaj:=thetaj-ETA*d g(x)/d thetaj, thetaj=thetaj-ETA*sum(f(x)-y)x(j)ETA过大会远离最小值

随机梯度下降法：效率高，随机选择一个训练数据来更新参数

thetaj:=thetaj-ETA*d g(x)/d thetaj, thetaj=thetaj-ETA*(f(x)-y)x(k)ETA过大会远离最小值

多项式回归：涉及不同次数的项

多重回归：变量超过两个，分别求目标函数对参数的偏微分，然后更新参数

分类：求权重向量，使权重向量成为法线向量的直线。设权重向量为w=（1,1），w*x=w1x1+w2x2，移项变形之后表达式变成x2=-x1了，这就是斜率为-1的直线。一开始并不存在直线，而要通过训练找到权重向量，才能得到与这个向量垂直的直线，最后根据这条折现对数据进行分类

感知机求权重向量：接受多个输入后将每个值与各自的权重相乘，最后输出总和的模型。缺点：只能处理线性可分（可以用直线分类的情况）的问题。

用这个表达式重复处理所有训练数据，更新权重向量。

逻辑回归：解决线性不可分的问题，将分类作为概率进行考虑，为求得正确的参数theta而定义目标函数进行微分，然后求参数的更新表达式。

sigmoid函数：

用于数据分类的直线称为决策边界。

最大似然函数：

logL(theta)=

最小化时要按照与微分结果的符号相反的方向移动，而最大化时要与微分结果的符号同向移动。

回归问题的验证：由于回归是连续值，所以可以从误差入手，但是在分类中药考虑分类的类别是否正确。

分类问题的验证：

分类结果为正是Positive，分类成功是Ture

精度：Accuracy

精确率（Precision）：

召回率（Recall）：

交叉验证：把全部数据分为测试数据和训练数据

K折交叉验证：把所有数据分为K份，把K-1份数据用作训练数据，剩下的一份用作测试数据，每次更换训练数据和测试数据，重复进行K次交叉验证，最后计算K个精度的平均值，把它作为最终的精度。

避免过拟合的方法：增加训练数据的数量，使用简单的模型，正则化

正则化项：

theta0这种只有参数的项称为偏置项，不进行正则化

lamda 入越大，正则化惩罚越强，0则无惩罚

L1正则化会使不需要的参数变为0，L2正则化只会抑制参数