机器学习与深度学习相关
-
精确率(precision) 、召回率(recall) : 其实只是分母不同,一个分母是预测为正的样本数,另一个是原来样本中所有的正样本数。
- precision 精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了,一种就是把正类预测为正类(TP),另一种就是把负类预测为正类(FP),因此 P r e c i s i o n = T P T P + F P Precision=\frac{TP}{TP+FP} Precision=TP+FPTP
- recall 召回率是针对我们原来的样本而言的,它表示的是样本中的正例有多少被预测正确了。那也有两种可能,一种是把原来的正类预测成正类(TP),另一种就是把原来的正类预测为负类(FN),因此 R e c a l l = T P T P + F N Recall=\frac{TP}{TP+FN} Recall=TP+FNTP
-
损失函数相关:
Hinge Loss h i n g e ( z ) = 1 − z f o r z ≤ 1 a n d 0 , o t h e r w i s e \,\,\, hinge(z) = 1 − z \,\, for \,\, z ≤ 1 \,\, and \,\, 0, otherwise hinge(z)=1−zforz≤1and0,otherwise
Logistic函数与Logistic Loss函数 、标签y ∈ \in ∈{0,1}的Logistic Loss推导 、更多记录
凸优化相关:
信息论相关
- 信息量,熵,相对熵,交叉熵,交叉熵作为loss函数或者说在分类问题中常用 cross entropy 而不是 MSE 的原因
两部分的更多详解:熵 、交叉熵和散度 。该博主的更多学习资料:[link] [link]
微积分相关
- 次微分、次梯度
通过求函数在点的每一分量的次导数可以求出函数在该点的次梯度。次梯度方法(subgradient method)是传统的梯度下降方法的拓展,用来处理不可导的凸函数,它的优势是比传统方法处理问题范围大,劣势是算法收敛速度慢,但它对不可导函数有很好的处理方法。
概率论与数理统计相关:
矩(moment)、矩量母函数(mgf)
the tail of a probability distribution
其他
- Scaling of Data
- 分析复杂度时的渐进记号
- P-Problem , NP-Problem , NP-Complete Problem , NP-Hard Problem
Complexity Theory
P Versus NP Problem