思考、杂
文章平均质量分 74
记录一些思考和作业代码
KeEN丶X
这个作者很懒,什么都没留下…
展开
-
用神经网络做分类任务时,是不是输出层的神经元个数一定要和类别数相同?
用神经网络做分类任务时,是不是输出层的神经元个数一定要和类别数相同?神经网络中最后一层的输出层常为全连接层,它在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在很多常见的模型架构中,最后一层全连接层都与分类类别数相同,比如做MNIST手写数字识别问题就有10个输出层神经元节点,做ImageNet图片分类任务就有1000个输出层神经元节点。是不是一定需要这样做呢?为什么不可以转载 2021-01-31 16:01:31 · 4396 阅读 · 0 评论 -
为什么是深度神经网络而不是宽度神经网络?增加神经网络的深度相比于增加宽度有哪些优点?
为什么是深度神经网络而不是宽度神经网络?增加神经网络的深度相比于增加宽度有哪些优点?Bengio和LeCun等人的论文《Scaling learning algorithms towards AI》中提到,如果一个深层结构能够刚刚好解决问题,那么就不可能用一个更浅的同样紧凑的结构来解决,因此要解决复杂的问题,要么增加深度,要么增加宽度。但是神经网络一般来说不是越深越好,也不是越宽越好,并且由于计算量的限制或对于速度的需求,如何用更少的参数获得更好的准确率无疑是一个永恒的追求。而目前针对网络宽度的研究远远不原创 2021-01-31 15:58:15 · 6283 阅读 · 0 评论 -
通过图+代码来理解tensorflow中反卷积
反卷积这个东西老是容易忘,而且很多文章理论讲的很详细,但反卷积实际怎么操作的却没有概念,因此想以自己喜欢的方式(直接上图和代码)写一篇,以便随时翻阅。卷积tf中的padding方式有两种,SAME和VALID,官方文档中好像还有个EXPLICIT方式,没了解过…先来仔细理解一下两种模式,以下所有输入矩阵与卷积核无论大小,其每个位置的值都为1:1、SAME模式,输入4×4,卷积核2×2,步长为1:import tensorflow as tfA = tf.constant(1.0, shape=[原创 2020-11-22 19:21:54 · 321 阅读 · 0 评论 -
最速下降法、牛顿法、拟牛顿法解无约束凸优化问题(Python实现)
最近在课程实践作业中,要求用最速下降法、牛顿法和拟牛顿法三种方法求解高维一致凸二次优化问题的极小值,网上看到的大部分程序都是手动求好了凸二次函数 f 的偏导然后带进去计算,这样的话限制死了维数和次数,也让程序显得比较笨拙,因此就自己用python从零实现了一下,由于要的急也还有很多改进空间吧…这种优化问题其实用 matlab 会比较方便,因此在 python 里想的也是借鉴 matlab中的符号计算体系,所以基于 sympy 库去实现的。最速下降法理论部分:代码部分:import sympy as原创 2020-11-21 15:20:21 · 4115 阅读 · 5 评论 -
如何在rancher上运行jupyter notebook
写在前面rancher是最近比较热门的也比较新的东西,是一个开源的企业级的全栈化容器部署与管理平台,其实就是图形化界面式的管理docker和k8s的web服务,操作很傻瓜式,但想完全上手还是需要掌握docker与k8s的一些相关概念的,而且rancher相关的博客比较少,还是有一定难度。最近在老师手把手的指导下(非常感谢任老师~)从无到有地搭了一次分布式集群,并且想尝试在分布式集群上面跑一些深度学习任务,因此需要在rancher上运行jupyter notebook,于是写这篇博客记录一下是如何操作的,给原创 2020-08-11 10:51:22 · 563 阅读 · 1 评论 -
Pytorch中的Variable和variable.backward()
1.VariablePytorch在autograd模块中实现了计算图的相关功能,autograd中的核心数据结构是Variable。Variable封装了tensor,并记录对tensor的操作记录用来构建计算图。autograd.Variable主要包含三个属性:1.data :保存variable所包含的tensor2.grad :保存data对应的梯度,grad也是variabl...翻译 2020-03-01 11:35:07 · 806 阅读 · 0 评论 -
计算机图形学中DDA算法只画出一个点的解决办法
在上机实践DDA算法中,我发现按照书上示例的程序来运行,图形窗口中只画出了一个点,在debug过程中学到了一个新的知识点,于是有了这篇blog,顺便分享一下像我们这种新手debug的心路历程。让我们先看一下最开始的程序吧!(编程环境为TC2.0,因为要用到graphics库,有条件的可以用OpenCL实现)PS:前两行是在图形程序中初始化图形环境,原因是虚拟了DOS环境。(TC2.0这种上古...原创 2019-05-19 22:53:49 · 565 阅读 · 0 评论