郑壮强-CSDN博客

原创【机器学习】深剖L1与L2权重正则化

【机器学习】L1与L2权重正则化L1正则化用于LR称为Lasso Rrgression; L2用于LR称为Rindge回归；两者均可防止过拟合，但是L1正则化倾向于产生稀疏的权重（即部分权重为0，部分权重不为0）；原因：求梯度后可以知道，无论权重多大，L1导致的梯度更新为常量，L2导致的梯度更新正比于权重大小；所以L1正则化更容易产生稀疏的权重；画图可以看出，...

2019-07-17 21:33:24 1796 2

原创【深度学习】卷积相关

【深度学习】卷积相关感受野receptive field (RF)感受野receptive field (RF)特征图上某点的感受野：输入空间与该点有关的区域。层数越深，感受野的区域越大。计算公式为：lk=lk−1+[(fk−1)∗∏i=1k−1si]l_{k} = l_{k-1}+ \left [ (f_{k}-1)*\prod_{i=1}^{k-1}s_{i} \right ]lk=l...

2020-01-03 14:38:49 274

原创利用TensorFlow定义Dataset类

step1: 生成标签文件label.csvstep2: 设计Dataset类的成员step3: 类的初始化函数step4: 记录的解析图像增强图像处理

2020-01-03 14:38:33 190

原创【机器学习】深度学习自适应学习率

【机器学习】深度学习自适应学习率momentum动量nesterov动量AdamgradRmspropAdammomentum动量nesterov动量AdamgradRmspropAdam

2019-10-23 10:49:26 1605

【机器学习】深度学习防止梯度消失的方法权重初始化的角度网络结构的角度损失函数的角度学习率自适应的角度梯度截断、权重正则化（防止梯度爆炸）深度网络容易出现梯度消失问题，造成网络学习停滞。深度网络中参数的梯度为激活值与状态梯度的乘积（例如∂loss∂w2=∂loss∂z3∂z3∂w3=∂loss∂z3a2(z3=w2a2)\frac{\partial{loss}}{\partial w_2} = ...

2019-09-03 19:56:28 1574

原创【概率论】常用分布

【概率论】常用分布离散分布伯努利分布二项分布泊松分布几何分布超几何分布多项分布连续分布均匀分布高斯分布指数分布拉普拉斯分布离散分布伯努利分布分布：x∼B(1,p)x\sim B(1,p)x∼B(1,p)均值：ppp方差：p(1−p)p(1-p)p(1−p)概念：一次伯努利试验成功0次或者1次的概率二项分布分布：x∼B(n,p),P(x=k)=Cnkpk(1−p)(n−k)(1≤k≤...

2019-07-19 20:38:35 1117

原创【机器学习】决策树与集成

【机器学习】决策树与集成决策树ID3C4.5CART（分类回归树）分类树回归树防止过拟合决策树集成梯度提升树AdaBoostGBDT(即基于一般损失的分类模型）GBRT（即基于一般损失的回归模型）XGboostLightGBMRandomForest决策树决策树包括分支节点，叶节点，分支。分治节点表示当前被选择的特征，分支表示特征的取值，叶节点表示当前路径下的预测ID3特征选择：基于信息...

2019-07-14 21:52:36 283

原创【机器学习】PCA推导

【机器学习】PCA推导PCA（主成分分析）是一种线性降维方式，它基于最大重构性对数据进行降维。记数据集为Xm×nX_{m\times n}Xm×n，其中mmm为样本数量，nnn为原始特征空间的特征维数。设线性变换矩阵为Wn×dW_{n\times d}Wn×d，其中列向量之间彼此正交，且模长为1。则降维后的样本Z=XWZ=XWZ=XW, 重构损失可以表示为 loss=∣∣X−XWWT∣∣F...

2019-07-14 08:44:24 474

原创【机器学习】权重初始化

【机器学习】权重初始化简单线性模型的权重初始化深度学习中的权重初始化标准初始化Xavier初始化Kaiming初始化随机初始化+BNpretrain初始化简单线性模型的权重初始化全0初始化，常用于简答的线性模型中，如Logistic Regression, LR, SVM，感知机等深度学习中的权重初始化深度网络容易出现梯度消失问题，造成网络学习停滞。深度网络中参数的梯度为激活值与状态梯度的...

2019-07-13 20:45:16 1047

原创【机器学习】过拟合问题

【机器学习】过拟合问题概念鉴别预防策略数据角度模型角度线性模型决策树与集成深度学习参数估计角度概念训练集是数据生成分布的采样，训练集所估计的经验分布是数据生成分布的近似，由于训练集的有限性，近似的分布在细节上与数据生成分布存在着差异。过拟合是指模型错把训练集自身的细节，当作数据生成分布的一般性质来学习，从而导致模型泛化性能的降低。鉴别训练集上的经验误差在下降（偏差小），验证集上的误差（泛化...

2019-07-13 20:26:10 247

原创【机器学习】逻辑斯蒂回归损失推导

【机器学习】逻辑斯蒂回归损失推导逻辑斯蒂回归简述二项逻辑斯蒂回归模型参数估计--基于最大似然法参数更新多项逻辑斯蒂回归模型参数估计----基于最大似然法梯度更新-- 梯度下降法逻辑斯蒂回归简述逻辑斯蒂回归y=δ(wx+b)=11+e−wxy=\delta(wx+b)=\frac{1}{1+e^{-wx}}y=δ(wx+b)=1+e−wx1是一种广义线性回归模型，它可以改写为ln⁡y1−y=w...

2019-07-13 19:33:55 280

原创 Fast AI1.0 自定义数据集

load necessary packagesfrom fastai import *from fastai.vision import *from fastai.callbacks import *load necessary dataset abstract informationpath = Path('../data')trn_imgs = pd.read_csv('...

2019-01-04 20:22:24 2316 6

郑壮强的博客