![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
深度学习持续学习中,总结个人学习到的知识
Onwarder
这个作者很懒,什么都没留下…
展开
-
何谓Dropout正则化
一、dropout(随机失活)的用处 当你的网络存在过拟合现象时,可以考虑使用dropout正则化来处理。二、dropout的做法 假设下图中左边的网络存在过拟合,dropout的做法就是对于网络中的每一层,设置一个概率值p,p表示对于该层的任一结点而言,保留它的概率为p,删除它的概率为1-p。假设每一层的p为0.5,则任何一个结点有50%的概率被删除,也就是网络中有接近一半的结点会被删除,同时删除网络图中对应的连线。因此使用dropout之后,我们得到了一个更加精简的网络模型。原创 2020-08-05 14:28:25 · 2952 阅读 · 2 评论 -
L1正则化与L2正则化
【注】部分图片来源于吴恩达老师课程。一、正则化使用场景 如果你的网络过度拟合了数据,即存在高方差问题,那么首先应该想到正则化。二、正则化分类 分为L1正则化和L2正则化两种。首先,我们假定网络中原本的损失函数为: 其中,w为网络的权重值,b为偏置值。 添加L1正则化后损失函数的形式可以表示为: 即在最后添加了权重绝对值的和。 其中,λ是正则化参数。添加L2正则化后损失函数的形式可以表示为: 即在最后添加了权重的平方和。【注】在避免过拟合这一情况下,L2原创 2020-08-04 23:22:20 · 693 阅读 · 0 评论 -
偏差、方差、欠拟合、过拟合
【注】:图中部分图片来源于吴恩达老师的深度学习课程。一、理解偏差(bias)和方差(variance) 任何一个机器学习/深度学习的研究人员都应该理解bias和variance。 假设我们有一个只含有x1和x2两维特征的数据集,如下图: (1)如果我们给这个数据集拟合一条直线,得到一个简单的逻辑回归拟合,但是并没有很好的拟合数据,这就是 high bias的情况,称之为欠拟合(underfitting)。 (2)如果给这个数据集拟合一个非常复杂的分类器,如下图最右所示,尽管看原创 2020-08-04 23:01:36 · 711 阅读 · 0 评论 -
如何划分训练集、验证集、测试集
一、数据的划分及各部分的作用 在机器学习、深度学习领域,我们通常会将数据分为训练集、验证集和测试集三部分。 训练集的目的是去训练不同的模型; 验证集则是去评估各个模型,选出最好的1或2个模型; 测试集则是最后测试一下选出的模型。测试集不是必须的!二、训练集/测试集/验证集的划分比例 当数据集规模较小时(如100、1000、10000,可以理解为规模小于百万时),一般会采用传统的划分方法,即按照: 方式一:将训练集和测试集按照70%、30%的比例划分得到,然后从训练原创 2020-08-04 22:47:19 · 14787 阅读 · 4 评论 -
ValueError: some of the strides of a given numpy array are negative. This is currently not……
一、错误描述 训练数据集时,写完数据增强的代码后,训练时出现了如下的报错: 数据增强的代码如下:pilimg_list = [Image.open(path) for path in path_list] # path_list是数据存储路径if self.contrast: p = np.random.uniform(0.5, 2) pilimg_list = [ImageEnhance.Contrast(pil_img).enhance(p)原创 2020-08-04 13:53:30 · 2082 阅读 · 2 评论 -
变形卷积在Ubuntu下的环境配置
一、DCN-V1的配置 使用变形卷积V1有两种方式: 1、通过自定义op的方式在自己的python环境里定义deform_conv这一op。定义op的.cpp以及.cu文件可以参考git项目: [mmdetection](https://github.com/open-mmlab/mmdetection) 2、包torchvision的 较新版本(大于等于0.6.0)中已经定义好变形卷积。首先通过`pip install torchvision`安装最新版本,之后在pycha原创 2020-07-20 21:46:40 · 982 阅读 · 1 评论 -
tf.concat()的理解和使用
**tf.concat()的理解和使用一:原型concat(values, axis, name=“concat”)。简单理解即将传入的values(若干shape完全一样的N维张量)在指定的维度axis(0<= axis <= N-1)上进行拼接,并返回拼接后的张量。二:代码分析1:一维张量a = tf.constant([1,2])b = tf.constant([3...原创 2020-02-18 16:22:49 · 733 阅读 · 0 评论