激活函数以零为中心的影响

最新推荐文章于 2023-09-18 22:28:27 发布
最新推荐文章于 2023-09-18 22:28:27 发布
阅读量3.5k 收藏 6
点赞数

神经网络激活函数输出不以0为中心会导致收敛过慢，为什么？

关于激活函数，上一篇文章已经有说明，链接https://mp.csdn.net/postedit/83511901

如果上一级神经元采用 Sigmoid 函数作为激活函数，x0和下一层的x1符号均为相同的。此时，模型为了收敛，不得不向逆风前行的风助力帆船一样，走 Z 字形逼近最优解。

                                       

模型参数走绿色箭头能够最快收敛，但由于输入值的符号总是为正，所以模型参数可能走类似红色折线的箭头。如此一来，使用 Sigmoid 函数作为激活函数的神经网络，收敛速度就会慢上不少了。

 

reference https://liam.page/2018/04/17/zero-centered-active-function/

IQ等于猪
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Lotus公式语言函数简介
09-27
公式语言函数简介 -------------------------------------------------------------------------------- @Abs 返回一个数字的绝对值 @Abstrcat 将一个或多个域中的内容缩写 @Accessed 指出最后一次访问（即读取或编辑）该文档的时间和日期 @Acos 使用角度的余弦，计算反余弦 @Adjust 按照指定的年月日小时分钟秒来调整指定的时间-日期值。调整的值可正可负 @All 需要 SELECT 语句的公式中使用 @All @AllChildren 包含父文档的所有满足选择标准的“答复”文档 @AllDescendants 包含所有满足选择标准的父文档的答复文档以及答复的答复文档 @Ascii 将一个 LMBCS （Lotus 多字节字符集）字符串转换成一个 ASCII 字符串 @Asin 使用角度的正弦，计算反正弦 @Atan 使用角度的正切，计算反正切 @Atan2 使用角度的 y/x 正切，计算反正切 @AttachmentLengths 返回表示当前文档中各个附件长度的数字或数字列表 @AtachmentNames 返回附加到文档中的文件的操作系统文件名 @Attachments 返回附加到文档中的文件数目 @Author 返回包含文档姓名的文本列表 @Begins 确定一个指定的子串是否保存在另一个字符串的开头 @Certificate 从公用通讯录的“已验证的公用密钥”中提取信息 @Char 从公用通讯录的“已验证的公用密钥”中提取信息 @CheckAlarms 触发闹铃守护程序检查邮件文件中是否有新的闹铃信息 @ClientType 返回文本字符串以从WWW客户机中区分 Notes 客户机 @Command 执行一个 Notes 命令 @Contains 确定某个子串是否包含在一个字符串中 @Cos 余弦函数 @Created 返回创建此文档时的时间-日期值 @Date 将数字转换成时间和日期的不同部分；然后返回时间-日期值 @Day 从指定日期值中提取天的部分 @DbColumn 1 从当前或别的 Notes 数据库的视图或文件夹里查找并返回一个完整的列值 2 使用数据源信息激来激活 ODBC 驱动程序 @DbCommand 给出 ODBC.INI 文件中的数据源信息，利用这些信息来激活 ODBC 驱动器。驱动器寻找指定的 DBMS，将命令送去进行处理，然后返回该命令检索到的数据 @DbExists 给定一个服务器和文件名，或复本标识符，查明该数据库是否存在 @DbLookup 1 给定一个值，在一个指定的视图（或文件夹）里查找，找出视图里的第一个排序列里包含该值的所有文档。对每个选中的文档，@DbLookup 返回视图里指定列的内容，或者返回一个指定域的内容 2 使用 ODBC.INI 文件里的数据源信息激活恰当的 ODBC 驱动器。驱动器定位指定的 DBMS，表和列，并对那些关键字列的值和指定的关键字匹配的记录返回该列的值。您还可以定义返回的列表是否排序，是否删除重复值以及如何处理空值 @DbManager 返回当前对数据库有“管理者”存取权限的用户、群组和服务器的列表 @DbName 返回当前 Notes 服务器和数据库的名称 @DbTitle 返回当前数据库的标题 @DDEExecute 将指定的命令串传递给由一个对话标识符标识的 DDE 应用程序，@DDEExecute 通常和 @DDEInitiate 与 @DDETerminate 配合使用 @DDEInitiate 初始化与 DDE 服务器的一个对话，并返回该对话的标识符 @DDEPoke 将未申请的数据存储到 DDE 服务器应用程序中的特定位置 @DDETerminate 中止与 DDE 应用程序的对话 @DEFAULT 为域指定缺省值。在公式的计算过程中，如果文档的某个域不存在，就用 DEFAULT 作为它的值。允许给域指定动态的缺省值 @DeleteDocument 在代理中运行时此函数时，删除正在被处理的文档 @DeleteField 在代理中运行该函数，@DeleteField 将删除指定的域 @DialogBox 弹出一个对话框，用指定的表单显示当前的文档 @Do 从左到右计算表达式，并返回列表中最后一个表达式的值 @DocChildren 返回当前文档（或分类）下的子文档（或子分类）的个数 @DocDescendants 在一个列公式或窗口标题公式中返回属于当前文档或分类的子文档或子分类的数目 @DocFields 返回文档中所有域的列表 @DocLength 返回文档的字节数 @DocLevel 返回表示文档或分类级别的字符串 @DocMark 在运行公式的代理中，表明您是否想保存对文档的改变 @DocNumber 在列公式或窗口标题公式中，返回一个代表当前文档或分类的项目编号的字符串v @DocParentNumber 在列公式或窗口标题公式中，返回一个视图项目的上一层项目的编号 @DocSiblings 在列公式或窗口标题公式中，返回与某个视图（文档或分类）处于同级的项目数 @DocumentUniqueID 32 个字母和数字组合，在数据库的多个复本中用来唯一标识某个文档 @Domain 返回 NOTES.INI 或 Notes Preferences 文件里当前用户的 Notes 网络域名 @EditECL 为指定的通讯录和名称显示“工作站安全性：执行控制列表”对话框,使您可以修改ECL @EditUserECL 为指定的通讯录和名称显示“工作站安全性：执行控制列表”对话框,使您可以在当前工作站上改变ECL @Elements 计算列表中文本、数字、时间-日期的个数 @EnableAlarms 启动或停止后台警告守护进程 @Ends 确定子串是否在字符串的后面 @ENVIRONMENT 设置环境变量并存储在NOTES.INI或Notes Preferences里 @Environment 设置或返回存储在NOTES.INI或Notes Preferences中的环境变量 @Error 允许您在表达式中产生错误条件 @Exp 计算以e为幂，以指定的数为指数的值 @Explode 返回由文本串或日期范围中的元素所组成的文本列表 @Failure 若输入的数值不符合条件,返回您给出的消息 @False 返回数字 0, 该函数等价于 @No @FIELD 在给文档里的域赋值时（与临时域相对）必须要用到 FIELD 关键字 @GetDocField 给定唯一的文档标识符，返回文档中某个域的内容 @GetPortsList 返回激活或禁止的端口的列表 @GetProfileField 从简要表文档中获得域，并缓存这个域的值，以备会话使用 @Hour 返回时间-日期中的小时部分 @If 判定一个条件 @Implode 连接文本列表中的成员，并返回文本字符串 @InheritedDocumentUniqueID 当前文档继承的父文档的唯一标识符 @Integer 将数字或数字列表截断成一个整数，去掉其小数部分 @IsAgentEnabled 判定定时运行的代理是否有效 @IsAvailable 查找文档中是否存在某个域 @IsCategory 在列公式中，如果视图中某一行为一个分类，则返回指定的字符串 @IsDocBeingEdited 检查文档的当前状态，如果文档正在被编辑，则返回1(True) @IsDocBeingLoaded 查看文档的当前状态，如果文档正被装入内存并显示，则返回1(True) @IsDocBeingMailed 检查文档的当前状态，如果文档正在被邮寄，则返回 1 (True) @IsDocBeingRecalculated检查文档的当前状态，如果文档中的公式正在被计算，则返回 1 (True) @IsDocBeingSaved 检查文档的当前状态。如果正在保存文档，则返回 1 (True) @IsDocTruncated 说明当前文档是否被截短过 @IsError 如果数值是一个 @ERROR 值，则返回 1 (True) @IsExpandable 在列公式中，如果视图中的某一行是可展开的，则返回某个特定的字符串 @IsMember 指出一段文本（或文本列表）是否包含在另外一个文本列表中 @IsModalHelp 说明当前文档是否为一个模态帮助文档 @IsNewDoc 对于一个正在编辑的文档，指出该文档是否已经存盘 @IsNotMember 判断一段文本（或文本列表）是否不包含在另一个文本列表中 @IsNumber 判断某个值是否为一个数字（或数字列表） @IsResponseDoc 判断某个文档是否为答复文档 @IsText 判断某个值是否为文本（或文本列表） @IsTime 判断一个值是否为时间-日期值（或时间-日期列表） @IsUnavailable 判断域名是否存在于文档里 @Isvalid 在当前表单执行所有检验公式 @Keywords 给定两个文本列表，返回第一个列表和第二个列表之间重叠的部分 @Left 从左到右搜索字符串，并返回字符串中最左边的几个字符 @LeftBack 从右至左搜索字符串并返回子串 @Length 返回文本字符串中字符的个数 @Like 将字符串和样本串进行匹配将字符串和样本串进行匹配 @Ln 返回一个以e为底的自然对数 @Log 返回大于 0 的数的常用对数 @LowerCase 将指定字符串里的大写字母转换成小写 @MailDbName 返回 Domino 服务器的名称和当前用户的邮件数据库的名称 @MailEncryptSavedPreference判断用户是否在“用户惯用选项”对话框选择了“加密保存的邮件” @MailEncryptSentPreference判断用户是否在“用户惯用选项”对话框中选择了“加密发送邮件” @MailSavePreference 判断用户在“用户惯用选项”中，选择了“保存发送的邮件” 中的哪个选项 @MailSend 将当前的文档邮寄给指定的收件人 @MailSignPreference 判断用户是否选择了“用户惯用选项”对话框的“签发邮件” @Matches 用一个样本字符串去匹配一个字符串 @Max 给出两个数字，返回较大的那个数字 @Member 给定一个值，在文本列表中找到该值的位置 @Middle 从一个字符串的中间部分返回一个子串 @MiddleBack 从一个字符串中间部分返回一个子串 @Min 给定两个数字，返回较小的那一个 @Minute 从时间-日期中提取分钟数值 @Modified 返回一个时间-日期值，表示文档最近和次编辑和保存的时间 @Modulo 返回除法操作的余数 @Month 从指定的时间-日期中提取月份值 @Name 用来裁剪层次结构名 @NerLine 在文本字符串中插入一个新行（回车） @No 返回数字 0 @NoteID 当前文档的标识符号 @Now 返回当前的日期和时间 @OptimizeMailAddress 给定一个邮件地址，删除其中不必要的网络域 @Password 密码字符串 @Pi 返回常量 p，精确到 15 个小数位 @PickList 显示一个模态窗口, 某个视图或地址对话框 @Platform 返回当前 Notes 运行的平台版本 @PostedCommand 执行一条 Notes 命令 @Power 求一个数的幂值 @Prompt 显示一个对话框，并根据用户的操作返回一个文本值。@Prompt 用来给用户提示信息，并根据用户的输入确定以后的操作过程 @ProperCase 将字符串中的单词转换成字首大写的形式 @Random 产生一个 0 和 1 之间的随机数，包含 0 和 1 @RefreshECL 从指定的通讯录和名称中，将管理执行控制列表拷贝到用户的个人工作站ECL中 @REM REM 关键字允许您给公式增加解释性的注释 @Repeat 以指定的次数重复某字符串 @Replace 在文本列表中执行查找/替换操作 @ReplaceSubstring 用指定的新单词或新短语代替字符串中的某个单词或短语 @Responses 返回文档的答复文档的（在当前视图中）个数 @Return 立即停止公式的执行并返回指定的值 @Right 返回字符串最右边的字符 @GightBack 返回字符串中最右边的字符 @Round 将指定的数字归整，结果为最接近它的一个数 @Second 从指定的时间-日期中，提取并返回秒值 @SELECT 定义文档的选择条件 @Select 返回列表中某个位置编号上的值 @Set 为临时变量赋值 @SetDocField 给定一个文档的唯一标识符，设置此文档中的某个域的值 @SetEnvironment 在NOTES.INI或Notes Preferences中设置并保存一个环境变量 @SetField 为文档中的某个域赋值（使用 @Set 可以为临时变量赋值）。 这与关键字 FIELD 相似，只是 @SetField 还可以用在另一个函数中 @SetProfileField 在简要表文件中设置域值 @Sign 判定一个数是正数、负数还是零 @Sin 给定一个用弧度表示的角度，返回该角度的正弦值 @Soundex 返回某指定字符串的 Soundex 码 @Sqrt 返回一个数字的正平方根 @Subset 从左到右搜索一个列，并返回您所指定数量的值 @Success 在输入检查公式中将该函数与 @If 一起使用可以判断输入的值是否满足检查条件 @Sum 在一组数字或数字列表中进行加法运算 @Tan 给定某个角度的弧度值，返回该角度的正切值 @Text 将任意值转换成文本字符串 @TextToNumber 在可能的情况下，将文本字符串转换成数字 @TextToTime 将文本字符串转换为时间-日期值 @Time 将时间和日期的组成部分转换成数字；然后返回时间-日期值 @Today 返回当天的日期 @Tomorrow 返回明天日期的时间-日期值 @Trim 从文本字符串中删除位于开头和结尾的空格，同时还删除多余的空格 @True 返回数字 1。该函数等效于 @Yes @Unavailable 使用本函数删除某个域 @Unique 带有参数时，通过仅返回列表里第一次出现的每个成员来从文本列表里删除重复值 @UpperCase 将指定字符串里的小写字母转换为大写 @URLGetHeader 从 URL 中返回指定的超文本传输协议 (HTTP) 的标题信息 @URLHistory 用于查找、保存和重新加载一个 URL 历史记录 @URLOpen 提取一个由 URL 指定的 W.W.W 页面 @UserAccess 给定一个服务器和文件名，指出当前用户对这个数据库的存取级别 @UserName 返回当前的用户名或服务器名 @UserPrivileges 返回代表当前用户权限的文本列表 @UserRoles 对于选择了“强行统一此数据库的所有复本的存取控制列表”选项的服务器上的数据库或本地数据库，返回当前用户具有的角色的列表。角色是在数据库的存取控制列表中定义的 @V2If 这个函数执行一个 @If 操作；其语法和 @If 的语法一样 @V3UserName 返回当前用户名或服务器名 @Version 返回您正在运行的 Notes 软件的版本号 @ViewTitle 返回当前视图的名称 @Weekday 算出一周中的某一天，返回一个表示这一天的数字 @Word 从一个文本字符串里返回指定的单词 @Year 从指定的时间-日期值中提取年份 @Yes 返回值 1 @Yesterday 返回与昨天日期相对应的时间-日期值 @Zone 返回当前计算机或时间-日期值的时区设置，并指出它是否遵循夏时制
【深度学习】5-从计算图直观认识“激活函数不以零为中心导致收敛变慢”
成长之路
08-21 1573
关于激活函数以零为中心问题的较直观解释，并于参数值全相同的问题做了对比。
论文研究-基于微分同胚的鲁棒激活函数的极端学习机.pdf
07-22
在实际问题中数据的不规则分布、带有噪声以及离群点，都严重影响了极端学习机算法的分类准确率。针对这些问题，深入分析不同激活函数的特性，提出了一种基于角度优化和微分同胚理论的鲁棒激活函数（robust activation function）。该鲁棒激活函数通过角度优化及微分同胚揭示数据的内在流形，从理论上证明了中心化样本长度与其偏离主空间角度为子空间偏离的主要因素，进而解决了噪声造成的主空间偏离问题，并且可尽量避免激活函数的输出值趋于零的情况。实验结果表明提出的激活函数优于其他的激活函数。
excel中161个VBA_自定义函数超级实用
03-28
目录 '1.函数作用：返回 Column 英文字........................9 '2.函数作用：查询某一值第num次出现的值................9 '3.函数作用：返回当个人工资薪金所得为2000元(起征点为850元)时的应纳个人所得税税额.............................10 '4.函数作用：从形如"123545ABCDE"的字符串中取出数字....11 '5.函数作用：从形如"ABCD12455EDF"的字符串中取出数字...11 '6.函数作用：按SplitType取得RangeName串值中的起始位置12 '7.函数作用:将金额数字转成中文大写....................13 '8.函数作用:计算某种税金..............................18 '9.函数作用:人民币大、小写转换........................19 '10.函数作用:查汉字区位码.............................20 '11.函数作用:把公元年转为农历.........................21 '12.函数作用:返回指定列数的列标.......................42 '13.函数作用:用指定字符替换某字符.....................43 '14.函数作用:从右边开始查找指定字符在字符串中的位置...43 '15.函数作用:从右边开始查找指定字符在字符串中的位置...44 '16.函数作用:计算工龄.................................44 '17.函数作用:计算日期差，除去星期六、星期日...........45 '18.函数作用:将英文字反转的自定函数...................46 '19.函数作用:计算个人所得税...........................46 '20.函数作用:一个能计算是否有重复单元的函数...........47 '21.数字金额转中文大写................................48 '22.函数作用:将数字转成英文...........................49 '23.函数作用:人民币大小写转换.........................52 '24.函数作用:获取区域颜色值...........................53 '25.函数作用:获取活动工作表名.........................53 '26.函数作用:获取最后一行行数.........................54 '27.函数作用:判断是否连接在线.........................54 '28.函数作用:币种转换.................................54 '29.函数作用:检验工作表是否有可打印内容...............55 '30.函数作用:查找一字符串(withinstr)在另一字符串中(findstr1)中某一次(startnum)出现时的位置，返回零表示没找到。..................................................57 '31.函数作用:增加文件路径最后的“\”符号..............58 '32.函数作用:计算所得税...............................58 '33.函数作用:从工作表第一行的标题文字以数字形式返回所在列号..................................................58 '34.函数作用:在多个工作表中查找一个范围内符合某个指定条件的项目对应指定范围加总求和..........................59 '35.函数作用:返回 Column 英文字.......................60 '36.函数作用:查找指定列名的列数.......................60 '37.函数作用:文字格式的时间(分:秒)转化为数字格式(秒)..61 '38.函数作用:将"hh:mm:ss"格式的时分秒数转换成秒数.....62 '39.函数作用:金额中文大写转数字.......................62 '40.函数作用:把角度转为度秒分、弧度等显示.............63 '41.函数作用:身份证号码侦测...........................64 '42.函数作用:显示公式.................................65 '43.函数作用:方便财务人员理帐查找.....................66 '44.函数作用:数值转换为字符地址.......................68 '45.函数作用:字符地址转换为数值.......................69 '46.函数作用:等待时间（以秒计算）.....................69 '47.函数作用:得到字符串实际的长度（以单字节记）.......70 '48.函数作用:18位身份证最后一位有效性验证............70 '49.函数作用:计算符合maturity condition的拆解金额....72 '50.函数作用:对多个用同一分隔符分隔的待查找元素，逐一在表区域首列内搜索，将返回选定单元格的值相加，............72 '51.函数作用:根据个人所得税（工资）反算工资数.........73 '52.函数作用:判断表是否存在...........................74 '53.函数作用:角度转弧.................................74 '54.函数作用:比较相同的字符串.........................75 '55.函数作用:对选定的数组进行排序.....................76 '56.函数作用:取得指定月份天数.........................77 '57.函数作用:排序工作表活页薄.........................77 '58.函数作用:统计数组中非重复数据个数.................78 '59.函数作用:摘取子字符串.............................79 '60.函数作用:计算20000余个汉字的笔画.................79 '61.函数作用:删除当前工作表中的全部超连接.............80 '62.函数作用:取得相近数据.............................81 '63.函数作用:提取定串中汉字...........................81 '64.函数作用:搜索重复数据(选定范围)...................81 '65.函数作用:字符型转数字型...........................82 '66.函数作用:小写人民币转大写人民币...................83 '67.函数作用:取得指定月份人星期天个数.................84 '68.函数作用:侦测档案是否包含宏.......................84 '69.函数作用:获取循环参照单元格.......................85 '70.函数作用:创建桌面快捷方式.........................86 '71.函数作用:自动建立多级目录.........................86 '72.函数作用:统计经筛选后符合条件的记录条数...........87 '73.函数作用:复制单元格列高与栏宽.....................87 '74.函数作用:取消隐藏工作表（包括vba Project工程保护的)88 '75.函数作用:删除单元格自定义名称.....................88 '76.函数作用:从文件路径中取得文件名...................89 '77.函数作用:取得一个文件的扩展名.....................89 '78.函数作用:取得一个文件的路径.......................90 '79.函数作用:十进制转二进制...........................90 '80.函数作用:检查一个数组是否为空.....................90 '81.函数作用:字母栏名转数字栏名.......................91 '82.函数作用:数字栏名转文字栏名.......................91 '83.函数作用:判断一件活页夹中是否还有子目录...........92 '84.函数作用:判断一个文件是否在使用中.................92 '85.函数作用:列出档案详细摘要信息.....................93 '86.函数作用:获取菜单ID编号及名称列表................93 '87.函数作用:状态列动态显示文字.......................94 '88.函数作用:取得一个文件的路径2.....................94 '89.函数作用:取得一个文件的路径3.....................95 '90.函数作用:取得Activecell的栏名....................95 '91.函数作用:取得单元格中指定字符前的字符.............95 '92.函数作用:前单元格指定字符前的字符颜色改成红色.....95 '93.函数作用:根据数字返回对应的字母列号...............96 '94.函数作用:取工作表名字.............................96 '95.函数作用:取消所有隐藏的宏表.......................97 '96.函数作用:导出VBA Project代码.....................97 '97.函数作用:导入VBA Project代码.....................97 '98.函数作用:取得汉字拼音的第一个字母.................98 '99.函数作用:获取两栏中相同的数据....................100 '100.函数作用:选取当前工作表中公式出错的单元格﹐关返回出错个数...............................................101 '101.函数作用:将工作表中最后一列作为页脚打印在每一面页尾101 '102.函数作用:获取vbproject引用项目.................102 '103.函数作用:移除Excel工作表中的外部数据连接.......103 '104.函数作用:将选择定单元格作成镜像图片.............103 '105.函数作用:反选择单元格中的数.....................105 '106.函数作用:在Excel中加入一个量度尺(以厘米为单位).106 '107.函数作用:在Excel中加入一个量度尺(以寸为单位)...109 '108.函数作用:取得一个短文件名的长文件名.............111 '109.函数作用:取得临时文件名.........................112 '110.函数作用:等用Shell调用的程序执行完成后再执行其它程序...................................................112 '111.函数作用:将Mouse显示成动画.....................113 '112.函数作用:限制Mouse移动范围.....................114 '113.函数作用:取得当前激活窗品句柄及标题.............114 '114.函数作用:取得屏幕分辨率.........................115 '115.函数作用:自动建立多级目录.......................115 '116.函数作用:将文件长度置零.........................116 '117.函数作用:读取WIN9X / Me共享文件夹密码..........116 '118.函数作用:取得预设的打印机及设置预设的打印机.....119 '119.函数作用:获得当前操作系统的打印机个数及检测打印是否存在.................................................120 '120.函数作用:枚举打印机名称清单.....................120 '121.函数作用:读取网络服务器当前时间.................122 '122.函数作用:下载文件到指定目录.....................123 '123.函数作用:自动映射网络驱动器.....................124 '124.函数作用:自动断开网络驱动器.....................125 '125.函数作用:连接选定单元格中的内容.................125 '126.函数作用:获取一个单元格中有指定字体颜色部份数据.126 '127.函数作用:对指定文件加XLS加密...................126 '128.函数作用:选择指定范围内使用了填充颜色的单元格...127 '129.函数作用:在特定的区域内查找文本,返回值是包含查找文本的单元格...........................................127 '130.函数作用:返回特定区域中最大值的地址.............128 '131.函数作用:删除表格中使用范围内的所有空白单元格...129 '132.函数作用:返回数组中有多少个指定的字符串.........129 '133.函数作用:返回当前工作表中引用了指定的单元的地址.130 '134.函数作用:获取Excel中字型列表...................131 '135.函数作用:获取一个字符串中有多少个数字字符.......131 '136.函数作用:在Excel中对多列进行填充...............131 '137.函数作用:对选定的范围进行数据填充（忽略单元格格式）132 '138.函数作用:VBA Project加密及解密.................132 '139.函数作用:列出收藏夹中的网址.....................133 '140.函数作用:计算两个日期之间相隔的年份,比如年龄,工龄等.可计算从1000年01月01日起的日期....................134 '141.函数作用:从字符串提取纯数字.....................135 '142.函数作用:将一个数组按升序排列...................136 '143.函数作用:将一个数组按降序排列...................137 '144.函数作用:删除空白列.............................137 '145.函数作用:判断工作表是否为空白...................138 '146.函数作用:将数据按类分到不同工作薄...............138 '147.函数作用:单元格内数据排序.......................139 '148.函数作用:对多栏排序.............................140 '149.函数作用:返回计算公式的值 [,值的计算公式].......140 '150.函数作用:把第一列=某个值对应的第二列的内容连在一起，并用、隔开...........................................141 '151.函数作用:取得系统使用模式.......................142 '152.函数作用:计算机注销/关机/重启...................142 '153.函数作用:更改计算机名称.........................143 '154.函数作用:从n位开始取出字符串中的汉字、英文字母、数字...................................................143 '155.函数作用:在指定列中寻找含有指定字符串的单元格，并将符合条件的单元格标为红色，并将对应的下一列单元格赋值为1。.....................................................144 '156.函数作用:清除字符串中的空格.....................145 '157.函数作用:查找合并单元格位置.....................145 '158.函数作用:阴阳历转换和阴阳历生日.................145 '159.函数作用:利用数组和Substitute来替换某字符......149 '160.函数作用:一键创建斜线表头.......................150 '161.函数作用:自动获取指定月的工作日.................151
caffe的leaky层源码实现
10-11
在caffe下实现yolo需要添加一些特殊的层，其中yolo使用的激活函数为leaky，即需要在caffe特定目录下添加该层的源码实现。 （1）leaky_layer.hpp放在caffe/include/caffe/layers下； （2）leaky_layer.cpp放在caffe/src/caffe/layers下； （3）修改caffe/src/caffe/proto下的caffe.proto文件
激活函数总结
qq_34514046的博客
02-22 729
激活函数就是给神经网络引入非线性的，以此来模拟复杂的非线性关系 sigmoid 容易出现梯度消失：导数接近为0.连乘会为0 函数输出并不是零中心化： Sigmoid函数的输出值恒大于0，这会导致模型训练的收敛速度变慢，训练深度学习网络尽量使用zero-centered数据 幂运算相对来讲比较耗时 软饱和：导数极限情况下为0 硬饱和：导数在确定数值为0 梯度消失问题至今仍然存在，但被新的优化方法有效缓解了，例如DBN中的分层预训练，Batch Normalization的逐层归一化，Xavie
谈谈激活函数以零为中心的问题
AI浩
02-25 1756
今天在讨论神经网络中的激活函数时，陆同学提出 Sigmoid 函数的输出不是以零为中心的（non-zero-centered），这会导致神经网络收敛较慢。关于这一点，过去我只是将其记下，却并未理解背后的原因。此篇谈谈背后的原因。 神经元 图片来自：https://zhuanlan.zhihu.com/p/25110450 如图是神经网络中一个典型的神经元设计，它完全仿照人类大脑中神经元之间传递数据的模式设计。大脑中，神经元通过若干树突（dendrite）的突触（synapse），接受其他神
机器学习—非零中心化、非零中心化会带来的问题
最新发布
xinxin的博客
09-18 545
众所周知，激活函数最好具有关于零点对称的特性，不关于零点对称会导致收敛变慢。这种说法看到几次了，但对于背后的原因却一直比较模糊，今天就来捋一捋。
激活函数Sigmoid
weixin_44188264的博客
12-20 3526
激活函数 Sigmoid Sigmoid函数输入一个实值的数，然后将其压缩到0~1的范围内。sigmoid函数能够很好的表达“激活”的意思，未激活就是0，完全饱和的激活则是1。 函数公式： 求导公式： 函数图像： 优点 Logistics Regressionke可以选择Sigmoid函数。LR模型是一个二分类模型，即对于一个X，预测其发生或不发生。但事实上，对于一个事件发生的情况，往往不能...
一类梯形激活函数的细胞神经网络的 静态解及Smale马蹄 (2008年)
04-24
研究了一类二阶中立型时滞微分方程零解的渐近稳定性,借助于推广的Halanay一维时滞微分不等式,利用构造函数法给出了判定其零解渐近稳定的与时滞无关的一个充分条件.
归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered）
landing_guy_的博客
12-13 3783
介绍数据归一化, 标准化, 中心化等
交叉熵损失函数公式_深度学习（五）-损失函数（交叉熵和平方差对比）
weixin_39756540的博客
12-08 735
之前我在（一）中说，分类不采用平方差作为损失函数的原因是损失函数是一个非凸函数，容易陷入局部最优，不利于找到相对的全局最优解。这样的解释我感觉太宽泛。今天我换种思路理解下不采用MSE的原因：首先理解“交叉熵“：我最开始接触熵的概念是在高中化学中，一个描述化学反应体系混乱度的物理量，大学接触是在信息论中，变为了衡量信息量多少的物理量。而在深度学习损失函数中的熵，我理解的应该和信息论差不多，用来衡量信...
神经网络中的激活函数为什么要均值为0
ykzcs2000的博客
09-06 3478
均值为0。来定义标准正态 引入激活函数？ 如果不用激活函数（其实相当于激励函数是f(x)=x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机了。 sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入。激活函数的作用是为了增加神经网络模型的非线性。否则你想想，没有激活函数的每层都相当于矩阵相乘，就算你叠加了若干曾之后，无非还是个矩阵相乘罢了。所以你没有非线性结构的话，根本就算不上什么神
深度神经网络权值初始化的诡异问题
zsyddl2的专栏
05-18 3489
最近自己些 cnn网络，遇到麻烦事了。直接使用c++从头写，按照层次化 模块化编写。为的是做之后的海量动态增量学习的 cnn。 写完代码，调试，结果基本和预期一样的差，毕竟要注意的参数很多。各个任何地方遗漏一个参数符号都会导致网络失败。于是从头开始bp网络检查错误。      1、使用1维个输入值，做3层bp网络测试。           1> 2分类，两输出节点情况。网络快速收敛。样本格式,
使用matplotlib库绘制函数图
weixin_30527423的博客
08-09 2465
函数如下： z = x^2 * y / (x^4 +y^2) 代码如下： import numpy as np import matplotlib.pyplot as plt import mpl_toolkits.mplot3d from matplotlib import cm fig = plt.figure() ax = fig.add_subplot(1...
激活函数的优缺点和选择
Leiroy的博客
04-12 1758
激活函数： 意义：增加网络的非线性建模能力，如果没有激活函数，那么该网络仅能够表达线性映射，即便有再多的隐藏层，其整个网络跟单层神经网络也是等价 需要具备的特点：1.连续可导。2，尽可能简单，提高网络计算效率。3，值域在合适区间内，否则影响训练效率和稳定性。 饱和激活函数：Sigmoid、Tanh。非饱和激活函数：ReLu。还有输出层(分类器)的softmax 激活函数的选择：在隐藏层ReLu>Tanh>Sigmoid 。RNN中：Tanh，Sigmoid。输出层：softmax
激活函数以零为中心的问题（全网最全）
qq_47150350的博客
10-16 262
https://liam.page/2018/04/17/zero-centered-active-function/ 无意浏览到的，作者对这个问题做了极为详细的解释，看过很多进这个的文章，就这个讲的最清楚，解答了我许久的困惑。
激活函数以零为中心点会更好吗
05-15
激活函数以零为中心点可以在训练深度神经网络时有一些优势，因为它可以使网络学习到更平衡的特征表示。这意味着，如果激活函数以零为中心点，那么正值和负值的输出将更加平衡，这有助于避免网络中某些特征的偏差或...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值