![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI
文章平均质量分 85
袁一白
这个作者很懒,什么都没留下…
展开
-
sigmoid和tanh做有限范围内的回归问题
前几天,有人质疑说sigmoid不能做回归,我翻了一下资料 某自编码机源码,采用sigmoid+BCEloss进行矩阵重建【这个矩阵数据被变换到了0-1】,论文里面确实是采用sigmoid做回归 本CSDN,采用distilbert用sigmoid做回归,完成STSB任务,(回归到1-5) 其实可以推导一下:sigmoid+BCE,大致等于直接回归+MSE ++++++++++++++++++以下实验正文++++++++++++++++++ sigmoid回归 # 环境配置 !pip install tra原创 2021-09-06 02:24:20 · 1816 阅读 · 0 评论 -
BN-tmp
问题:GN论文里面LN的 C的问题 所有以4D数据[Bbatch=128,Cchannel=3,Hheight=384,Wwidth=384][B_{batch}=128,C_{channel}=3,H_{height}=384,W_{width}=384][Bbatch=128,Cchannel=3,Hheight=384,Wwidth=384]为例 LN以3D数据[Bbatch=128,Wword=512,Eembedding_dim=768][B_{batch}=128,W_{word}=51原创 2021-08-18 01:49:36 · 256 阅读 · 0 评论 -
【论文解读-未完成】-A Survey of Transformers-【一篇论文了解整个Transformers王国】
PTMsA Survey of Transformers1 INTRODUCTION 引言2 BACKGROUND 背景-介绍了 Transformer的架构和关键组件。2.1 Vanilla Transformer-原始Transformer2.2 Model Usage-模型使用2.3 Model Analysis-模型分析2.4 Comparing Transformer to Other Network Types-比较trm和其他2.4.1 Analysis of Self-Attention 自原创 2021-08-14 10:31:23 · 967 阅读 · 1 评论 -
【优化】-权重初始化
为啥要合适的初始化 【不放大缩小,方差稳定性】过大或者过小的初始化:过大,梯度爆炸,使得网络不收敛,参数更新的幅度也会很大,这就导致loss function的值在其最小值附近震荡;过小,梯度消失,更新的幅度也很小,着就会导致loss的收敛很缓慢,或者在收敛到最小值前在某个局部的极小值收敛了 【破坏对称性(差异性)】《速通》里面认为:初始化如果没有差异,那么梯度过程和结果也没有差异,冗余(多通道只是一个通道,多头attention只是一头,FC只是一个神经元),因此要破坏"对称性"(《花书》(&8原创 2021-06-30 10:39:37 · 420 阅读 · 0 评论 -
说一说sklearn和jieba做tf-idf做领域关键词提取的区别
这里写自定义目录标题首先先定义一下问题的范围sklearn的策略:类似BNjieba策略:单独的idf 首先先定义一下问题的范围 我们只涉及提取关键词,而不是生成关键词 本文不讨论分词,不讨论具体的理论,只是论述这个坑 坑:sklearn和jieba在tf-idf的区别 sklearn的策略:类似BN 这里说一下:sklearn的tfidf: 全世界有100万文章,我训练是10万文章,TfidfTransformer是一万一万的fit然后提取tf-idf sklearn搞得跟BN一样,一批一批的idf sk原创 2021-04-22 10:24:56 · 542 阅读 · 0 评论