机器学习11. ROC曲线、AUC值、Accuracy、Precision、Recall 含义 AUC 【****】/ROC，Accuracy，Precision，Recall 含义。查准率，查全率，样本均衡问题部分图片转自这里行的True和False表示预测为正负列的Pos和Neg表示真实的正负表哥说明：True Positive(TP)：将正类预测为正类的数量.True Negative(TN)：将负类预测为负类的数量.False Positive(FP)：将负类预测...
机器学习8.常用优化方法（梯度下降/最速下降/共轭梯度/牛顿/拟牛顿） 梯度下降梯度下降，基于一阶泰勒公式，在某点处用平面拟合当前函数。在已知的位置xxx处，我们希望像某个方向走Δx\Delta xΔx使得左式f(x+Δx)f(x+\Delta x)f(x+Δx)变小。f(x+Δx)=f(x)+f′(x)∗Δxf(x+\Delta x)=f(x)+f'(x)*\Delta xf(x+Δx)=f(x)+f′(x)∗Δx一个直观的选取方式是选择下...
机器学习9. 生成模型，以VAE和GAN为例 生成模型：由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。如朴素贝叶斯。判别模型：数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。如k近邻、决策树、SVM直接面对预测，往往准确率较高。1. AutoEncoder即N层的神经网络，输入数据和输出数据一致，...
机器学习7. 常用聚类方法 目录：K-meansGMMMeanShift层次聚类K-means:确定聚类个数，随机选择K个点作为初始聚类中心计算各样本到K个聚类中心的距离，将该样本归为距离最近的一类。距离可用欧氏距离J=∑k=1K∑j=1n(∣∣xi−uk∣∣2)J=\sum_{k=1}^{K}{\sum_{j=1}^{n}{(||x_i-u_k||^2)}}J=∑k=1K∑j=1n(∣∣xi...
机器学习6. 理解L0/L1/L2正则 本文转自： https://blog.csdn.net/m0_38045485/article/details/82147817对原文做了适当删改，额外增加了部分笔记。L1/L2的推导可以从两个角度：频率学派：最大化似然函数->带约束条件优化求解（拉格朗日乘子法）贝叶斯学派：最大后验概率【拉普拉斯与高斯先验】1.1 基于约束条件的最优化对于模型权重系数w的求解释通...
机器学习5. RNN/LSTM/GRU 反向传播公式推导；encoder-decoder框架/attention机制汇总 研究生期间主要科研的内容，先把基本公式推一推。RNN/LSTM正相传播和BPTT推导注意，公式中的梯度以某一时刻ttt为例，若要计算某个参数的总梯度，只需要对不同时刻的梯度求和即可。...
机器学习4. 交叉熵损失函数与softmax回归的反向传播推导 在多分类问题中，一般选取softmax作为分类器，交叉熵作为损失函数。他们的形式都很简单，但是在BP的时候还是有些复杂，现在总结如下：交叉熵损失函数(1)C(a,y)=−∑iyilnaiC(a,y)=-\sum_i{y_i ln a_i} \tag{1}C(a,y)=−i∑yilnai(1)softmax逻辑回归第iii个输出值aia_iai为：(2)ai=ezi∑kezka_i...
机器学习3. EM算法与变分推断(Variational Inference) 参考文献PRML待定EM算法核心思想（以混合高斯为例）：样本xxx是由多个混合高斯组成，若我们知道每个数据xix_ixi来自于哪个混合高斯（如第kkk个），那么我们对所有属于类kkk的xikx_{ik}xik使用极大似然估计就可以求得相应的参数。但是现在我们不知道样本xikx_{ik}xik中到底属于哪个kkk，我们可以先根据当前的参数θ\thetaθ估计一个样本的类别向量zik...
关注
