journey_fan的专栏

之前看过很多L1正则和L2正则分析的文章，也看了很多比较二者区别的文章，但始终没能总结成体系，写这篇文章的目的就是想总结一下关于L1正则和L2正则的分析。正则化方法 (Regularization) 是机器学习领域中一种非常重要的技巧，它主要用来对权重系数加以约束限制，进而防止过拟合。数学上来讲，正则化即为在目标函数中加入对权值系数的约束。首先说说使用正则化的场景： 变量较多或者样本...

开始深度学习调参之路不能没有一个趁手的环境安装基础环境我使用的机器环境是：Ubuntu18.04安装显卡驱动1.2. 按照cuda所需的版本安装3. sudo ubuntu-drivers autoinstall安装pipsudo apt-get install python-pip下载anaconda3地址：https://www.anaconda.com/dist...

交叉熵损失函数说到交叉熵损失函数（Cross Entropy Loss），就想到公式：L=−[ylogy^+(1−y)log(1−y^)]L=-[ylog \hat y + (1-y)log(1- \hat y)]L=−[ylogy^​+(1−y)log(1−y^​)]大多数情况下，这个交叉熵函数直接拿来用即可，但是知其然还要知其所以然，关于它是怎么推导而来的，为什么它能表征真实样本标签和预测...