机器学习基础知识点

1. 度量标准

1.1 回归问题评估度量标准

1. 平均绝对误差（MAE, mean absolute error), 均方误差（MSE， mean square error), 均方根误差（RMSE， root mean square error)

2. r2决定系数（coefficient of determination，R2）是反映模型拟合优度的重要的统计量，为回归平方和与总平方和之比。 R2取值在0到1之间，且无单位，其数值大小反映了回归贡献的相对程度，即在因变量Y的总变异(y相对于y平均值的波动，measured by the total sum of squares of distances between y_true_i and y_true_average) 中回归关系(f = wx+b) 所能解释的百分比。

1.2 分类问题评估度量标准

错误率：分类错误的个数/data总数
精度（accuracy，正确率）：分类正确的个数/data总数
二分类混淆矩阵：真实情况和预测结果的2x2矩阵。T or F: 表示预测结果是否正确。P or N: 表示预测结果。Precision（查准率，准确率） = TP/(TP+FP) 所有被预测为正类的例子中，预测对了的正类例子的比例。Recall（查全率，召回率） = TP/(TP+FN) 所有正类例子中，预测对了的正类例子的比例。
F1 score：F1 = 2PR/(P+R) = 2/(1/P+1/R),即几何平均
F_beta = (1+beta²)PR/(beta²xP)+R，我们可以调整beta的值来weight P或R的重要性，if bata<1, P有更大影响，反之R有更大影响。

ROC curve，AUC：x axis: FPR (false positive rate), y axis: TPR (true positive rate). FPR = 预测错了的正例占负例的比。TPR = 预测对了的正例占正例的比。

2. Convex Optimization 凸优化

2.1 对偶理论

仿射变换/仿射函数DEF：