机器学习算法
xd_ljq
这个作者很懒,什么都没留下…
展开
-
机器学习1. 决策树/随机森林
决策树主要的问题如何选择分类属性?如何建立决策树?(相关指标?)如何停止分裂?原创 2019-04-14 17:07:27 · 288 阅读 · 0 评论 -
机器学习12.推荐系统(2)--推荐系统,LR,LR+GBDT,FM及其扩展
1原创 2019-07-15 20:24:04 · 665 阅读 · 0 评论 -
机器学习12.推荐系统(1)--协同过滤、相似度计算、奇异值分解
可能要写的目录item协同过滤,user协同过滤原创 2019-07-10 22:15:54 · 570 阅读 · 0 评论 -
机器学习11. ROC曲线、AUC值、Accuracy、Precision、Recall 含义
AUC 【****】/ROC,Accuracy,Precision,Recall 含义。查准率,查全率,样本均衡问题部分图片转自这里行的True和False表示预测为正负列的Pos和Neg表示真实的正负表哥说明:True Positive(TP):将正类预测为正类的数量.True Negative(TN):将负类预测为负类的数量.False Positive(FP):将负类预测...原创 2019-05-12 23:33:36 · 1773 阅读 · 0 评论 -
机器学习8.常用优化方法(梯度下降/最速下降/共轭梯度/牛顿/拟牛顿)
梯度下降梯度下降,基于一阶泰勒公式,在某点处用平面拟合当前函数。在已知的位置xxx处,我们希望像某个方向走Δx\Delta xΔx使得左式f(x+Δx)f(x+\Delta x)f(x+Δx)变小。f(x+Δx)=f(x)+f′(x)∗Δxf(x+\Delta x)=f(x)+f'(x)*\Delta xf(x+Δx)=f(x)+f′(x)∗Δx一个直观的选取方式是选择下...原创 2019-04-28 14:09:52 · 436 阅读 · 0 评论 -
机器学习7. 常用聚类方法
目录:K-meansGMMMeanShift层次聚类K-means:确定聚类个数,随机选择K个点作为初始聚类中心计算各样本到K个聚类中心的距离,将该样本归为距离最近的一类。距离可用欧氏距离J=∑k=1K∑j=1n(∣∣xi−uk∣∣2)J=\sum_{k=1}^{K}{\sum_{j=1}^{n}{(||x_i-u_k||^2)}}J=∑k=1K∑j=1n(∣∣xi...原创 2019-04-19 16:06:32 · 861 阅读 · 0 评论 -
机器学习5. RNN/LSTM/GRU 反向传播公式推导;encoder-decoder框架/attention机制汇总
研究生期间主要科研的内容,先把基本公式推一推。RNN/LSTM正相传播和BPTT推导注意,公式中的梯度以某一时刻ttt为例,若要计算某个参数的总梯度,只需要对不同时刻的梯度求和即可。...原创 2019-04-15 15:30:01 · 1735 阅读 · 0 评论 -
机器学习4. 交叉熵损失函数与softmax回归的反向传播推导
在多分类问题中,一般选取softmax作为分类器,交叉熵作为损失函数。他们的形式都很简单,但是在BP的时候还是有些复杂,现在总结如下:交叉熵损失函数(1)C(a,y)=−∑iyilnaiC(a,y)=-\sum_i{y_i ln a_i} \tag{1}C(a,y)=−i∑yilnai(1)softmax逻辑回归第iii个输出值aia_iai为:(2)ai=ezi∑kezka_i...原创 2019-04-15 10:40:36 · 763 阅读 · 0 评论 -
机器学习3. EM算法与变分推断(Variational Inference)
参考文献PRML待定EM算法核心思想(以混合高斯为例):样本xxx是由多个混合高斯组成,若我们知道每个数据xix_ixi来自于哪个混合高斯(如第kkk个),那么我们对所有属于类kkk的xikx_{ik}xik使用极大似然估计就可以求得相应的参数。但是现在我们不知道样本xikx_{ik}xik中到底属于哪个kkk,我们可以先根据当前的参数θ\thetaθ估计一个样本的类别向量zik...原创 2019-04-14 15:02:47 · 4396 阅读 · 0 评论 -
机器学习9. 生成模型,以VAE和GAN为例
生成模型:由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。如朴素贝叶斯。判别模型:数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。如k近邻、决策树、SVM直接面对预测,往往准确率较高。1. AutoEncoder即N层的神经网络,输入数据和输出数据一致,...原创 2019-04-25 22:03:55 · 759 阅读 · 0 评论 -
机器学习6. 理解L0/L1/L2正则
本文转自: https://blog.csdn.net/m0_38045485/article/details/82147817对原文做了适当删改,额外增加了部分笔记。L1/L2的推导可以从两个角度:频率学派:最大化似然函数->带约束条件优化求解(拉格朗日乘子法)贝叶斯学派:最大后验概率【拉普拉斯与高斯先验】1.1 基于约束条件的最优化对于模型权重系数w的求解释通...转载 2019-04-16 11:55:28 · 321 阅读 · 0 评论 -
机器学习2. 集成学习 Boosting/Bagging/Stacking(Adaboost/GBDT/XGBoost/随机森林)
是原创 2019-04-14 17:07:57 · 468 阅读 · 0 评论