机器学习笔记
记录学习机器学习的方法、笔记,以便以后查看使用。
sunlanchang
北京邮电大学-计算机硕士,sunlanchang@bupt.edu.cn
展开
-
目标检测的评价指标 - mAP
目标检测的评价指标 - mAP原创 2020-03-16 17:50:20 · 189 阅读 · 0 评论 -
Keras中LSTM输入输出与参数计算
Keras中的LSTM原创 2020-02-23 19:06:21 · 1968 阅读 · 0 评论 -
GBDT和XGBoost
GBDTXGBoostCART树线性分类、CART树一阶导数二阶导数无正则项有正则项原创 2019-12-03 12:18:12 · 101 阅读 · 0 评论 -
SVM使用对偶、核函数、软间隔的动机
使用对偶问题动机SVM可以通过QP即二次规划求解,通过QP求解时问题的求解复杂度是与是与输入特征的维度相关的,在对原来的X进行使用核函数做升维度后,此时的维度会非常的大。例如使用二次多项式核函数时,映射后的维度为原始维度的平方倍数量级,如果使用高斯核函数则映射后的维度为无穷维。所以此时再使用QP解原始的SVM最小化问题效率会非常低下,这就引出了通过解SVM的对偶问题来解原始最优化问题,而原始SV...原创 2019-11-04 11:08:36 · 546 阅读 · 0 评论 -
L1和L2正则化与稀疏性
参考https://zhuanlan.zhihu.com/p/50142573 参考用图解释和用导数解释转载 2019-10-25 21:20:14 · 480 阅读 · 0 评论 -
Momentum、AdaGrid、RMSprop、Adam优化算法总结
原创 2019-10-23 22:25:28 · 431 阅读 · 0 评论 -
决策树
决策树算法注意:第五行意思为:已经到达叶子节点时,无法再向下分裂因为已经没有可以使用的属性分裂了;或者当前分裂到此节点时,尽管还有可以使用的属性分裂,但是节点内的样本都属于同一类别,无需在进行分裂。决策树的最关键之处是第八行选择合适的分裂属性来进行分裂。决策树是一个递归分裂的过程。按照第八行决策树选取最有的属性的算法,经典算法可以分为ID3、C4.5、CART。ID3算法选择的...原创 2019-04-28 22:09:39 · 123 阅读 · 0 评论 -
标准反向传播推导手稿
神经网络反向传播算法的简单推导手稿,以便日后查阅使用。这篇文章反向传播算法推导写的非常好,一步一步推导计算反向传播,非常值得阅读。原创 2019-04-25 16:32:55 · 502 阅读 · 0 评论 -
类别不平衡问题
再缩放在使用逻辑回归解决分类问题时等价的Sigmoid函数(Sigmoid反函数)为:lny1−y=wTx+b\ln \frac{y}{1-y}=\boldsymbol{w}^{\mathrm{T}} \boldsymbol{x}+bln1−yy=wTx+b其中的y1−y\frac{y}{1-y}1−yy为正例和负例的可能性之比,在预测时通常使用y1−y>1\frac...原创 2019-04-25 10:31:52 · 378 阅读 · 0 评论 -
牛顿法求零点、极值点
牛顿法求零点的迭代公式:xn+1=xn−f(xn)f′(xn)x_{n+1}=x_{n}-\frac{f\left(x_{n}\right)}{f^{\prime}\left(x_{n}\right)}xn+1=xn−f′(xn)f(xn)经过若干次迭代后xn+1x_{n+1}xn+1即为方程f(x)=0f(x)=0f(x)=0的解。对于求凸函数的最值问题,可以看做求凸函数一...原创 2019-04-25 09:42:13 · 8329 阅读 · 4 评论 -
逻辑回归推导
逻辑回归解决分类问题,在线性回归上使用Sigmoid函数:y=11+e−(wTx+b),(3.18)y=\frac{1}{1+e^{-\left(\boldsymbol{w}^{\mathrm{T}} \boldsymbol{x}+b\right)}},(3.18)y=1+e−(wTx+b)1,(3.18)等价于:lny1−y=wTx+b,(3.19)\ln \frac{y}{1-...原创 2019-04-24 15:44:32 · 569 阅读 · 0 评论 -
线性回归推导
线性回归尝试学习的函数:f(xi)=wxi+b,使得f(xi)≃yif\left(x_{i}\right)=w x_{i}+b,使得f\left(x_{i}\right) \simeq y_{i}f(xi)=wxi+b,使得f(xi)≃yi使用均方误差函数估计参数w,b:(w∗,b∗)=argmin(w,b)∑i=1m(f(xi)−yi)2=argmin(w,b)∑i=1...原创 2019-04-24 11:21:07 · 190 阅读 · 0 评论 -
偏差-方差分解bias-variance decomposition
方差、偏差的直观意义维基百科定义:Var(X)=E[(X−μ)2]其中μ=E(X)\operatorname{Var}(X)=\mathrm{E}\left[(X-\mu)^{2}\right] 其中\mu=\mathrm{E}(X)Var(X)=E[(X−μ)2]其中μ=E(X)在给定数据集中方差:var(x)=ED[(f(x;D)−f‾(x))2]\operatorname...原创 2019-04-23 10:50:46 · 1312 阅读 · 2 评论 -
分类问题的性能度量
分类问题评估度量原创 2019-04-22 21:49:41 · 528 阅读 · 0 评论 -
训练集trainning set和验证集validation set的划分策略
留出法hold-out1将数据集划分成两个互斥的集合训练集和验证集,利用训练集进行训练模型,利用验证集进行模型和超参的选择。在使用留出法时候,通常使用分层采样stratified sampling来保证训练集和验证集的独立同分布(independent and identical distribution),所谓的分层采样指的是划分出的训练集和验证集的各个类别的分布是一样的。交叉验证法cros...原创 2019-04-22 10:28:05 · 1384 阅读 · 0 评论 -
CS230 Lecture 2深度学习的直观认识(Deep Learning Intuition)
观看斯坦福大学公开课CS230后记录笔记,以便以后查阅之用。原创 2019-04-02 15:26:01 · 422 阅读 · 0 评论 -
基于Hinge Loss的Linear SVM梯度下降算法数学推导
传统的SVM使用凸二次规划的方式进行优化,使得损失函数收敛,参考李宏毅教授的机器学习课程的SVM的梯度下降的优化算法推导非常的简单明了,这里记录一下,并且参考Siraj Raval的例子使用梯度下降进行深入理解。实例生成训练SVM的数据#To help us perform math operationsimport numpy as np#to plot our data and m...原创 2019-04-01 17:01:34 · 3349 阅读 · 0 评论 -
基于拉格朗日乘法优化的Linear SVM 数学推导
对于一个线性可分的二分类数据集,Linear SVM是如何进行work的,这里基于MIT公开课进行了详细的数学推导,后续使用kernal trick的方法的数学推导后续再补上,以便自己以后查阅复试使用。李航老师对于SVM的章节的综述非常的到位,这里引用一下:参考:https://www.youtube.com/watch?v=_PwhiWxHK8o&t=54s《统计学习方法》...原创 2019-04-01 16:07:56 · 310 阅读 · 0 评论 -
基于softmax激活函数交叉熵损失函数的BP推导
参考:https://www.jianshu.com/p/ffa51250ba2e原创 2019-03-26 17:17:44 · 1604 阅读 · 3 评论 -
softmax函数导数
原创 2019-03-26 15:57:25 · 1529 阅读 · 0 评论 -
Python实现一个简单的反向传播算法
x输入乘以w1权重,后rulu激活函数,后w2权重,最后输出结果。# -*- coding: utf-8 -*-import numpy as np# N为batch size; D_in 输入维度# H为隐藏层维度 D_out 输出维度N, D_in, H, D_out = 64, 1000, 100, 10# 创建随机输入数据,让网络拟合x = np.random.ran...原创 2019-03-25 22:16:11 · 2067 阅读 · 2 评论