wayneholmes-CSDN博客

转载 26种神经网络激活函数可视化

在本文中，作者对包括 Relu、Sigmoid 在内的 26 种激活函数做了可视化，并附上了神经网络的相关属性，为大家了解激活函数提供了很好的资源。在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的激活函数也许产生一些梯度消...

2019-08-01 09:25:10 573

转载原码, 反码, 补码详解

转自:https://www.cnblogs.com/zhangziqiu/archive/2011/03/30/ComputerCode.html本篇文章讲解了计算机的原码, 反码和补码. 并且进行了深入探求了为何要使用反码和补码, 以及更进一步的论证了为何可以用反码, 补码的加法计算原码的减法. 论证部分如有不对的地方请各位牛人帮忙指正! 希望本文对大家学习计算机基础有所帮助!...

2019-06-27 10:29:05 1376 4

转载模型性能估计

转自:https://zhuanlan.zhihu.com/p/41296455在移动设备上进行深度学习时，模型预测的好坏并不是唯一的考虑因素。你还需要担心：· 模型在应用程序包中占用的空间量- 单个模型有可能为应用程序的下载大小增加100个MB· 它在运行时占用的内存量- 在iPhone和iPad上，GPU可以使用设备中的所有RAM，但这仍然只有几GB，当你的可用内存耗尽时，应用程...

2019-06-20 09:07:05 740

转载位操作符的妙用

原文：https://blog.csdn.net/GS_MY/article/details/8830368左移位操作符：<<; 右移位操作符>>;左移位操作符实际上就是把二进制的数向左移，高位舍去，低位补零.看例子：1<<3;将1向左移三位，假设八进制下1的二进制为：00000001，移位后变成00000100,这时就变成了1*2^3=8;...

2019-06-14 10:40:39 1147 1

转载 Python使用openpyxl读写excel文件

Python使用openpyxl读写excel文件转自:https://www.cnblogs.com/sun-haiyu/p/7096423.html这是一个第三方库，可以处理xlsx格式的Excel文件。pip install openpyxl安装。如果使用Aanconda，应该自带了。读取Excel文件需要导入相关函数。from openpyxl import loa...

2019-06-13 15:22:34 97

转载 python之配置日志的几种方式

转自:https://www.cnblogs.com/yyds/p/6885182.html作为开发者，我们可以通过以下3种方式来配置logging:1）使用Python代码显式的创建loggers, handlers和formatters并分别调用它们的配置函数； 2）创建一个日志配置文件，然后使用fileConfig()函数来读取该文件的内容； 3）创建一个包含配置信息的d...

2019-04-23 16:57:05 199

转载详解深度学习中的Normalization，BN/LN/WN

转自:https://zhuanlan.zhihu.com/p/33173246深度神经网络模型训练之难众所周知，其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 大法自 2015 年由Google 提出之后，就成为深度学习必备之神器。自 BN 之后， Layer Norm / Weight Norm / Cosine Norm 等也横空...

2019-04-23 16:51:39 310

转载一些算子及不同类型的卷积

转自:https://www.cnblogs.com/noticeable/p/9197640.html1、什么是算子及不同算子的介绍　　算子是一个函数空间到函数空间上的映射O：X→X。广义上的算子可以推广到任何空间，如内积空间等。　　在图像处理中，通常会使用一些不同的算子来对图像进行处理。下面介绍一下图像处理中常用的一些算子。1.相关算子（Correlation Oper...

2019-04-23 16:43:06 941

转载深度学习网络调参技巧

转自：炼丹实验室之前曾经写过一篇文章，讲了一些深度学习训练的技巧，其中包含了部分调参心得：深度学习训练心得。不过由于一般深度学习实验，相比普通机器学习任务，时间较长，因此调参技巧就显得尤为重要。同时个人实践中，又有一些新的调参心得，因此这里单独写一篇文章，谈一下自己对深度学习调参的理解，大家如果有其他技巧，也欢迎多多交流。好的实验环境是成功的一半由于深度学习实验超参众多，代码风格良好的...

2019-04-23 16:34:33 191

翻译 python常用运算符

python支持以下几种运算符：一、算术运算符下面以a=10,b=20为例进行计算运算符描述实例 + 加两个对象相加a+b输出结果为30 - 减得到负数或是一个数减去另一个数 a - b 输出结果 -10 * 乘两个数相乘或是返回一个被重复若干次的字符串 a * b 输出结果 200 / 除 b / ...

2018-09-03 23:46:13 278

原创 python基础语法

一、编码默认情况下，Python 3 的源码文件以 UTF-8 编码，所有字符串都是 unicode 字符串。可以在源码文件中直接使用中文，但是python2中你需要在源码文件头部指定编码格式：# -*- coding:utf-8 -*- 二、注释 python中的注释分为两种：单行注释：以#开头，#右边的所有东西当做说明，而不是真正要执行的程序，起辅助说明作用 ...

2018-09-03 21:41:20 176

alpha_fallen_down的博客