常见机器学习算法原理

1.线性回归

自变量与因变量是一种线性关系。
y=wx+b
y=w1x1+w2x2+……wnxn+w0x0
此处用w0x0代表b，w0=b，x0=1。
损失函数为1/2（yi-y^^）^2。即预测值与实际值之差的平方和最小。

预测值均值与实际值均值相等
一元线性回归的系数为：
多元线性回归：

系数为：

2.逻辑回归

逻辑回归不是回归问题，它解决的是分类问题。
使用sigmoid函数可以让数据从负无穷到无穷变化为（0，1）

因此可以将其转化为概率
正例sigmoid(z)>0.5
负例sigmoid(z)<0.5

损失函数

p(y=1) = s(z)
p(y=0) = 1 - s(z)
综合两式可得
p（y）=s(z)^y * (1-s(z))^(1-y),然后取对数似然函数
由于是损失函数再取相反值，使其最小即可。

s(z)越大，y取1损失函数越小。
s(z)越小，y取0损失函数越小。

3. KNN

KNN即K邻近算法，预测一个样本使由其最近的K个邻居决定。
KNN用于分类，预测结果为K个邻居种类数量（或加权）最多的。
KNN用于回归，预测结果为K个邻居的均值（或加权均值）。

超参数是在训练模型前人为指定的参数，K值需要人为指定

K值大小	特性	模型
K值大	敏感性较低，稳定	容易欠拟合