自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Felaim的博客

尽人事,听天命!我的邮箱是[email protected]欢迎各位小伙伴们一起交流!O(∩_∩)O哈哈~

  • 博客(6)
  • 资源 (1)
  • 问答 (1)
  • 收藏
  • 关注

原创 Paper Reading:你真的了解Transformer了吗?

Attention is All You Need

2021-06-25 16:32:28 280

原创 功能性模块:(10)Spearman‘s rank correlation coefficient的简单理解(含与PCC之间的区别)

Spearman’s rank correlation coefficient的简单理解1. 背景在统计学中,斯皮尔曼等级相关系数(Spearman’s rank correlation coefficient, 或者Spearman’s ρ\rhoρ, 通常使用ρ\rhoρ或者rsr_srs​来表示),是一个等级相关性的非参数度量(两个变量等级之间的统计相关性)。这个相关系数使用单调函数来描述两个变量之间的关系程度。如果两个变量的Spearman correlation和Pearson correl

2021-06-04 16:53:28 2305 1

原创 功能性模块:(9)Pearson Correlation coeffiicient的简单理解

Pearson correlation coefficient 的简单理解1. 背景最近LZ正在恶补一些nlp相关的知识,其中在判断句子文本相似性的时候,使用了Pearson correlation和Spearman’s rank correlation这两个统计学相关系数,还是做个笔记吧,不然时间久了,又会忘记了。在统计学中,皮尔逊相关系数(Pearson correlation coefficient, PCC),有的时候也指Pearson’s r, 皮尔逊剂矩相关系数 (Pearson pr

2021-06-04 11:38:56 1780

原创 Paper Reading: GELUs

Paper Reading: GELUs1. 简介文章全名: GAUSSIAN ERROR LINEAR UNITS (GELUs)这个激活函数是LZ在看BERT的时候,提及到的,因为对这个激活函数还不是很熟悉,于是就补充下对应的知识。主要想知道几个问题:激活函数是怎么实现的?与之前的激活函数相比,它的优势在什么地方?使用它对训练结果有什么影响?什么是GELUs?是指高斯误差线性单元(Gaussian Error Linear Unint, GELU),这是一种高性能的神经网络激活函数,

2021-06-03 14:29:54 446

原创 功能性模块:(8)一文理解常用激活函数(Sigmoid,ReLU,ELU,GELU...)

一文理解常用激活函数1. Sigmoid公式:Sigmoid(x)=11+exp⁡(−x)\text{Sigmoid}(x) = \frac{1}{1 + \exp(-x)}Sigmoid(x)=1+exp(−x)1​Sigmoid的函数形状如下图所示:对应的导数形式如下图所示:Sigmoid函数的优点:便于求导,可以看到Sigmoid的梯度是平滑的函数能够压缩数据,数据会压缩在0-1之间适合用于前向传播Sigmoid函数的缺点:容易出现梯度消失Sigmoid的输出不是0均

2021-06-03 11:38:15 2154 1

原创 python:xlrd.biffh.XLRDError: Excel xlsx file; not supported

1. 问题描述LZ使用xlrd读取file.xlsx的文档时,运行程序报错Traceback (most recent call last): File "<input>", line 1, in <module> File "/root/.pycharm_helpers/pydev/_pydev_bundle/pydev_umd.py", line 197, in runfile pydev_imports.execfile(filename, global_v

2021-06-02 14:45:03 863

01-nbody.cu

Final Exercise: Accelerate and Optimize an N-Body Simulator,只上传题目,实现请自己实现

2020-05-30

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除