K近邻算法:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。
特征工程:
更大的特征空间中进行训练,可以使正确率提高不少。
增加更多的数据
考虑模型复杂度
修改特征空间
改变模型
偏差-方差折中,既要低偏差,又要低方差。
逻辑回归
逻辑分布(Logistic distribution)
P(Y=1│X=x)=exp(x'β)/(1+exp(x'β))
其中参数β常用极大似然估值
逻辑回归的应用广泛性的原因主要是因为其概率表达式的显性特点,模型的求解速度快,应用方便。当模型选择集没有发生变化,而仅仅是当各变量的水平发生变化时(如出行时间发生变化),可以方便的求解各选择枝在新环境下的各选择枝的被选概率。根据Logit模型的IIA特性,选择枝的减少或者增加不影响其他各选择之间被选概率比值的大小,因此,可以直接将需要去掉的选择枝从模型中去掉,也可将新加入的选择枝添加到模型中直接用于预测。
准确率和召回率
准确率=TP/(TP+FP)
召回率=TP/(TP+FN)