深度学习
Ibelievesunshine
毕业于浙江师范大学数计学院,是一名图像处理工程师
展开
-
pytorch 获取模型的参数数量
# Find total parameters and trainable parameters total_params = sum(p.numel() for p in model.parameters()) print(f'{total_params:,} total parameters.') total_trainable_params = sum(p.numel() for p in model.parameters() if p.requires_grad)...原创 2020-05-25 09:07:52 · 2707 阅读 · 0 评论 -
一文看懂神经网络中的梯度下降原理 图像说明
本文是一篇关于深度学习优化方法——梯度下降的介绍性文章。作者通过长长的博文,简单介绍了梯度下降的概念、优势以及两大挑战。文中还配有大量生动形象的三维图像,有兴趣的亲了解一下?从很大程度上来说,深度学习实际上是在解决大量烦人的优化问题。神经网络仅仅是一个非常复杂的函数,包含数百万个参数,这些参数代表的是一个问题的数学解答。以图像分类为例,AlexNet 就是一个数学函数,它以代表图像 RGB...转载 2019-12-01 21:20:43 · 4075 阅读 · 2 评论 -
经典CNN模型介绍
一、LeNet-5论文:http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf这个可以说是CNN的开山之作,由Yann LeCun在1998年提出,可以实现对手写数字、字母的识别。结构如下:LeNet-5图中的 subsampling,即“亚采样”,就是我们前面说的pooling,因为pooling其实就是对原图像进行采样的...转载 2019-10-30 21:16:43 · 2588 阅读 · 0 评论 -
一篇让你看懂卷积神经网络
初识卷积神经网络(CNN)从今天起,正式开始讲解卷积神经网络。这是一种曾经让我无论如何也无法弄明白的东西,主要是名字就太“高级”了,网上的各种各样的文章来介绍“什么是卷积”尤为让人受不了。听了吴恩达的网课之后,豁然开朗,终于搞明白了这个东西是什么和为什么。我这里大概会用6~7篇文章来讲解CNN并实现一些有趣的应用。看完之后大家应该可以自己动手做一些自己喜欢的事儿了。一、引子————边界...转载 2019-10-30 14:38:02 · 1581 阅读 · 0 评论 -
ResNet 残差网络的详细解释
残差网络的设计目的随着网络深度增加,会出现一种退化问题,也就是当网络变得越来越深的时候,训练的准确率会趋于平缓,但是训练误差会变大,这明显不是过拟合造成的,因为过拟合是指网络的训练误差会不断变小,但是测试误差会变大。为了解决这种退化现象,ResNet被提出。我们不再用多个堆叠的层直接拟合期望的特征映射,而是显式的用它们拟合一个残差映射。假设期望的特征映射为H(x),那么堆叠的非线性层拟合的是另...转载 2019-08-15 11:49:03 · 11221 阅读 · 0 评论 -
Deconv (Transpose Convolution) 和 Unpooling 的通俗解释
Deconv和Unpooling作为标准操作却很少被人提及在深度学习分类检测等任务中,大部分操作都是在下采样(downsampling),因为我们输入高维的图像,然后输出是低维的坐标信息或者是分类信息,所以我们需要下采样来减少维度,但是在一些特殊的任务中,比如生成或者是语义分割的时候,我们最终的维度跟输入的图像维度相同甚至要更大,所以我们需要一些上采样(upsampling)的操作,Dec...转载 2019-07-04 15:58:10 · 1338 阅读 · 1 评论 -
Adboost、GBDT、Xgboost 详解
转载请注明出处:http://www.cnblogs.com/willnote/p/6801496.html前言本文为学习boosting时整理的笔记,全文主要包括以下几个部分:对集成学习进行了简要的说明 给出了一个Adboost的具体实例 对Adboost的原理与学习过程进行了推导 针对GBDT的学习过程进行了简要介绍 针对Xgboost的损失函数进行了简要介绍 给出了Ad...转载 2019-04-07 11:22:08 · 707 阅读 · 0 评论 -
深度学习中常用优化器算法Optimizer详解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam)
本文转载自:https://www.cnblogs.com/guoyaohua/p/8542554.html在机器学习、深度学习中使用的优化算法除了常见的梯度下降,还有 Adadelta,Adagrad,RMSProp 等几种优化器,都是什么呢,又该怎么选择呢?在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较,今天来学习一下:https://arxiv.org/pdf...转载 2019-04-05 21:51:22 · 680 阅读 · 0 评论 -
conda常用命令
conda 常用命令整理查看 conda 版本号conda -Vconda --version环境管理查看当前有哪些环境conda env listconda info -e实际执行命令示例: ➜ ~ conda env list # conda environments: # base * /anaconda3 flaskdev /anaconda3/envs...转载 2018-11-14 16:23:08 · 438 阅读 · 0 评论 -
CNN初探
本文转载自:https://www.cnblogs.com/fydeblog/p/7450413.html前言这篇博客主要讲解卷积神经网络(CNN)的历史、模块、特点和架构等等1. CNN历史CNN最早可以追溯到1968Hubel和Wiesel的论文,这篇论文讲述猫和猴的视觉皮层含有对视野的小区域单独反应的神经元,如果眼睛没有移动,则视觉刺激影响单个神经元的视觉空间区域被称为其感受...转载 2018-11-14 14:21:00 · 289 阅读 · 0 评论