机器学习
文章平均质量分 87
郑壮强
machine learning; deep learning; computer vision;
展开
-
【机器学习】深剖L1与L2权重正则化
【机器学习】L1与L2权重正则化L1正则化用于LR称为Lasso Rrgression; L2用于LR称为Rindge回归;两者均可防止过拟合,但是L1正则化倾向于产生稀疏的权重(即部分权重为0,部分权重不为0);原因:求梯度后可以知道,无论权重多大,L1导致的梯度更新为常量,L2导致的梯度更新正比于权重大小;所以L1正则化更容易产生稀疏的权重;画图可以看出,...原创 2019-07-17 21:33:24 · 1799 阅读 · 2 评论 -
【机器学习】逻辑斯蒂回归损失推导
【机器学习】逻辑斯蒂回归损失推导逻辑斯蒂回归简述二项逻辑斯蒂回归模型参数估计--基于最大似然法参数更新多项逻辑斯蒂回归模型参数估计----基于最大似然法梯度更新-- 梯度下降法逻辑斯蒂回归简述逻辑斯蒂回归y=δ(wx+b)=11+e−wxy=\delta(wx+b)=\frac{1}{1+e^{-wx}}y=δ(wx+b)=1+e−wx1是一种广义线性回归模型,它可以改写为lny1−y=w...原创 2019-07-13 19:33:55 · 284 阅读 · 0 评论 -
【机器学习】过拟合问题
【机器学习】过拟合问题概念鉴别预防策略数据角度模型角度线性模型决策树与集成深度学习参数估计角度概念训练集是数据生成分布的采样,训练集所估计的经验分布是数据生成分布的近似,由于训练集的有限性,近似的分布在细节上与数据生成分布存在着差异。过拟合是指模型错把训练集自身的细节,当作数据生成分布的一般性质来学习,从而导致模型泛化性能的降低。鉴别训练集上的经验误差在下降(偏差小),验证集上的误差(泛化...原创 2019-07-13 20:26:10 · 248 阅读 · 0 评论 -
【机器学习】权重初始化
【机器学习】权重初始化简单线性模型的权重初始化深度学习中的权重初始化标准初始化Xavier初始化Kaiming初始化随机初始化+BNpretrain初始化简单线性模型的权重初始化全0初始化,常用于简答的线性模型中,如Logistic Regression, LR, SVM,感知机等深度学习中的权重初始化深度网络容易出现梯度消失问题,造成网络学习停滞。深度网络中参数的梯度为激活值与状态梯度的...原创 2019-07-13 20:45:16 · 1048 阅读 · 0 评论 -
【机器学习】深度学习自适应学习率
【机器学习】深度学习自适应学习率momentum动量nesterov动量AdamgradRmspropAdammomentum动量nesterov动量AdamgradRmspropAdam原创 2019-10-23 10:49:26 · 1607 阅读 · 0 评论 -
【机器学习】PCA推导
【机器学习】PCA推导PCA(主成分分析)是一种线性降维方式,它基于最大重构性对数据进行降维。记数据集为Xm×nX_{m\times n}Xm×n,其中mmm为样本数量,nnn为原始特征空间的特征维数。设线性变换矩阵为Wn×dW_{n\times d}Wn×d,其中列向量之间彼此正交,且模长为1。则降维后的样本Z=XWZ=XWZ=XW, 重构损失可以表示为 loss=∣∣X−XWWT∣∣F...原创 2019-07-14 08:44:24 · 476 阅读 · 0 评论 -
【机器学习】决策树与集成
【机器学习】决策树与集成决策树ID3C4.5CART(分类回归树)分类树回归树防止过拟合决策树集成梯度提升树AdaBoostGBDT(即基于一般损失的分类模型)GBRT(即基于一般损失的回归模型)XGboostLightGBMRandomForest决策树决策树包括分支节点,叶节点,分支。分治节点表示当前被选择的特征,分支表示特征的取值,叶节点表示当前路径下的预测ID3特征选择: 基于信息...原创 2019-07-14 21:52:36 · 287 阅读 · 0 评论