自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(465)
  • 资源 (15)
  • 问答 (9)
  • 收藏
  • 关注

原创 (快速搞懂)Pytorch中的nan和inf有什么区别?

inf是一个数字,表示正无穷大,相应的,有-inf。由于是数字,所以可以和其他数字比较大小。产生原因:数字太大,计算机无法表示。我们发现,有的时候,我们使用torch计算一通之后,有的时候得到的是nan,有的时候得到的inf,这是什么鬼?开门见山,nan不是一个数字,因此没有正负概念,和其他数字比较也没有意义。注意:nan由于不是数字,因此任何后续数学运算都会是nan。注意,其是一个数字,因此,可以作为一个数字继续参与后续运算。成功,大家可以试一试,如果b为nan是无法参加后续运算的。

2023-01-01 17:31:11 390

原创 load_ext是干什么的(autotime,autoreload)

比如我们有一个自己写的utils包,在jupyter的开头import了,后来,我们在jupyter中运行之后发现有utils中的某个函数有bug,然后我们纠正了那个函数,重新在jupyter中运行。我觉得可能是因为我们现在的背景是IPython,而不是Python,这两者有一定的差别。这个时候,按照道理,仍然是会报错的,因为jupyter不会帮你自动刷新utils这个包。作用:这个扩展autotime的作用就是,给出每一个单元格运行所花费的时间。注意,上面那一行不要写注释,否则报错,写注释要换一行。

2022-12-21 16:45:37 252

原创 (完全解决)FutureWarning: Non-finite norm encountered in torch.nn.utils.clip_grad_norm_

一定要使用那种饱和类型的损失,例如你希望模型二分类,loss不应该设置为,对于类别1,希望模型输出为正无穷大,对于类别0,希望模型输出为负无穷大,这样loss不会饱和,模型会一直训练下去,很容易nan。应该改为,对模型输出的结果,加一层sigmoid,从而对于类别1,希望模型输出为1,对于类别0,模型输出为0。而对于sigmoid这种饱和函数,输出为1,输入不需要是正无穷大,6,7,8这种数字就可以差不多输出为1了。这就导致,在输出可以做到为0的情况下,我log之后就会nan。

2022-12-18 10:55:37 254

转载 (Pytorch)梯度剪裁(clip_grad_value_与clip_grad_norm_)

梯度剪裁,一种避免梯度爆炸的方式。

2022-12-16 15:39:08 210

原创 (入门以及简介+实战)超参数寻找器hyperopt库中常见的函数或类的作用

用来找超参数的,我们常常用的是格子搜索以及贪婪搜索对不对。它这个库有着更多的策略。一个例子好了,上面引入了3个函数,fmin, tpe, hp。其中hp用来指定参数空间,比如hp.uniform(‘x’, -10, 10),其表示我们有一个参数x,其可能取值在-10到10之间,并且是均匀分布。tpe则是用来指定我们的搜索策略,比如可能是格子搜索之类的。max_evals=100则表示,由于我们的参数x取值连续,不可能说取遍所有值,所以尝试了100次不同的x值之后就结束。然后再说fn这个参数,上面是一个

2022-12-05 16:07:48 255

原创 (有什么区别)Python中return self和return None或者return或者不写

主要是return self是什么鬼,一般很少见,但是这次见到了,所以想搞懂一下,其有什么用,如下:我的感觉是好像没有什么用。首先,return None或者return或者不写作用应该是一样的,就是什么也不返回,也就是返回为空。

2022-11-18 16:02:50 219

原创 (简单搞懂)from abc import ABC,abstractmethod是什么意思

基础不是很好,很少关注这些基础的东西,这次项目有人用了,不得不搞懂一下了。

2022-11-18 11:28:16 487

原创 (完全解决)Your compiler (c++) is not compatible with the compiler Pytorch was built with for this platfo

服务器上安装了一个包,然后这个包好像顺便把一些其他包给更新了,然后在远程连接服务器的时候就出现了问题。!!!!!!

2022-11-16 19:13:59 697

原创 (完全解决)下载包的时候An unexpected error has occurred. Conda has prepared the above report

可以看到,404问题,而且是从镜像源那里出的问题。这里希望你对号入错,因为网上一些回答里面,虽然错误结尾也是我标题那样,但是错误开头并不是镜像源导致的,那么本篇可能就不适用。今天下载一个包,莫名奇妙就报了上述错误。这个错误特别长,下面列举了该错误的开始部分,标题则是结尾部分。既然镜像源出了问题,那么就将其删除即可。在当前目录下,有一个隐藏文件,名字叫做。删除了这个之后,就会使用conda默认的镜像源,国内可能会比较慢。话说为什么镜像源会出问题呢?看到了之后,将其删除即可。

2022-11-16 11:26:26 191

原创 (完全理解)二重积分中的换元积分中的雅可比矩阵

我们知道,在二重积分中,换元积分如下:但是很多人并不知道为什么是这样,所以一直记不住换元积分的公式。

2022-11-10 11:36:17 418

原创 信号与线性系统分析(吴大正,郭宝龙)(5-系统定义与典型系统)

我发现,信号与系统中有一些东西真的是反复会在别的工科专业中用到,所以在这里记录一下,虽然有视频,但是视频毕竟比较长,想要快速回顾,需要从头看视频,所以这里记录一下比较关键的东西。信号与线性系统分析(吴大正,郭宝龙)。上面这个很好理解这个(2系统模型)不是很好理解,和物理比较相关,这里跳过。我们看3。系统的状态,这里解释一下,根据上一张图,我们很容易会认为系统就是一个函数而已,将输入映射为输出。

2022-11-09 15:29:10 150

原创 (完全解决)为什么二阶行列式的绝对值为面积

以前隐隐约约就记得二阶行列式为面积,却一直忘了怎么来的了。现在重新翻看证明,并且纠正一个小错误,即二阶行列式的绝对值为面积,而不是二阶行列式为面积。我们下面就要证明这个结论。比如上图,两个向量,他们围成一个平行四边形,其面积就是行列式的绝对值。

2022-11-08 19:06:31 118

原创 信号与线性系统分析(吴大正,郭宝龙)(3-单位脉冲/阶跃序列以及4-信号的运算)

我发现,信号与系统中有一些东西真的是反复会在别的工科专业中用到,所以在这里记录一下,虽然有视频,但是视频毕竟比较长,想要快速回顾,需要从头看视频,所以这里记录一下比较关键的东西。信号与线性系统分析(吴大正,郭宝龙)。

2022-11-08 14:51:21 66

原创 信号与线性系统分析(吴大正,郭宝龙)(2-冲激函数)

我发现,信号与系统中有一些东西真的是反复会在别的工科专业中用到,所以在这里记录一下,虽然有视频,但是视频毕竟比较长,想要快速回顾,需要从头看视频,所以这里记录一下比较关键的东西。信号与线性系统分析(吴大正,郭宝龙)。对于任意ϕ(t)\phi(t)ϕ(t),如果δ(t)\delta(t)δ(t)满足如下式子,那么δ(t)\delta(t)δ(t)称之为冲激函数。这就是冲激函数的广义函数定义。满足上述要求的δ(t)\delta(t)δ(t)

2022-11-08 10:39:18 293

原创 切比雪夫多项式

切比雪夫是俄国超级有名的,土生土长的数学家,其比较出名的贡献有:切比雪夫多项式和切比雪夫大数定律。本文说切比雪夫多项式。切比雪夫多项式。

2022-11-07 11:30:47 681

原创 信号与线性系统分析(吴大正,郭宝龙)(信号的分类)

我发现,信号与系统中有一些东西真的是反复会在别的工科专业中用到,所以在这里记录一下,虽然有视频,但是视频毕竟比较长,想要快速回顾,需要从头看视频,所以这里记录一下比较关键的东西。信号与线性系统分析(吴大正,郭宝龙)。

2022-11-06 15:37:53 289

原创 (简单介绍)PageRank算法

这个是一个经典算法,还是有必要了解的,这里由于讲得不会很详细,所以要求你有一点数学知识,如果有,看完这篇就大概明白PageRank是个啥了。本篇不涉及证明之类的,而是主要搞清楚背景以及怎么做。PageRank算法。

2022-11-06 10:13:06 121

原创 (完全解决)pycharm运行或者调试项目的时候报错:test setup failed

今天莫名奇妙碰见这个错误,源于:我打开了一个项目,然后直接右键,debug。我直接一脸懵逼,我只是想运行一个程序而已,你这么对我?然后可以看到这个Python tests,万恶之源。选择好文件后,直接点击应用,再点击OK。此时就可以右键DEBUG或者RUN了。然后找到我们要运行的程序文件。

2022-11-04 20:10:22 700 1

原创 (Pytorch)简单了解torch.autograd.grad()以及torch.autograd.backward()

这个时候,我们就可以用上grad_outputs,这个东西就会充当dz/dy的作用,那么我门只需要求解dy/dx即可,然后相乘,(dz/dy)*(dy/dx)=dz/dx,就得到了我们最终想要的。看起来平平无奇对不对,但是,计算谁对谁的梯度, 通过这个函数,你可以自由控制啦。然后,我们再说一下其中的参数grad_outputs,其他的比如retain_graph我们就不说了,这个东西我早在其他文章说过,属于必修内容。y和dzdy需要形状相同,这其实本来就一定要啊,对y的导数和y的数量当然是一样的。

2022-11-01 20:11:11 554

原创 概率密度分布(distribution)的均值(期望)(mean)和中值中位数(median)

一开始看到the median of this distribution的时候,人是懵逼的,我这么孤陋寡闻吗?分布竟然还有中值?不是只有期望吗?

2022-10-31 15:45:33 1246

原创 (完全解决)Python中pip如何安装github上的一个包

并不是github上面的每一个项目都能叫做一个包,一般来说,包的标识:项目的目录下有setup.py文件。为什么不直接pip install 包名?反而要提到github。这是因为有的包可能是个人开发的,过于小众,没有被收录到python的官方源中,所以pip install 包名根本找不到这个包。

2022-10-23 20:42:45 2188

原创 (完全解决)argparse中dest是什么意思

上面的#行中,引号里面的,都是。官方还继续区分,'-‘开头的叫做short option string,’–'开头的叫做long option string。好了,然后再翻译一下官方,即dest你不写,也是有默认值的,例如#1,默认值是foo_bar,#2中默认值是x。这个时候,你在看例子,发现在例子中foo只是一个幌子,bar才是真正的属性名大佬。不过,我还是决定带你看一看。但是传递完了之后,属性只能是。

2022-10-23 11:35:03 195

原创 (一分钟)简单介绍MLFLOW

MLFLOW有很多功能,但是大家来找的应该是指其记录(追踪)超参数的功能。本文也只是简单说说这个,让你有一个大致了解。

2022-10-23 10:52:07 702

原创 python类的一些关键笔记

注意,本文只适合学过面向对象编程的看,用于温故知新的,而不是新手。新手想要系统自学python,可以移步B站,本文也来自。

2022-10-21 20:24:42 125

原创 简单介绍ogb包(open graph benchmark)(图神经网络的基准数据集)

Open Graph Benchmark (OGB) 是一个图深度学习的基准数据集。

2022-10-20 11:27:38 499

转载 logistic function 和 sigmoid function的区别

大家都习惯把standard logistic function(即公式)称为sigmoid function,因此在没有特殊说明的情况下,文献资料或老师讲课中提到的‘sigmoid function’都是指公式对应的函数。满足公式的形式的函数都是logistic function。只要曲线是 “S”形的函数都是sigmoid function;两者的相同点是: 函数曲线都是“S”形。

2022-10-15 11:08:27 62

原创 (Pytorch)如何指定维度地判断两个tensor是否相同

的二维矩阵,我们要判断a,b是否行向量对应相同,返回两个bool值。那么true表示两个对象行向量不相等,false表示相等。但是,现在我们的场景不一样了,例如:a,b都是相同形状。这个时候该怎么办呢?

2022-10-10 14:49:33 745

原创 (Pytorch)nn.Dropout以及Dropout1d,Dropout2d,Dropout3d是什么意思

其实nn.Dropout并不是Dropout1d,Dropout2d,Dropout3d中任何一个的特例,他们应用场景并不相同,不是相互包含的关系。

2022-10-09 15:22:14 690

原创 Pytorch中Dataset的__getitem__()返回值应该怎么写

确实,功能上是等价的,但是有的时候,当你返回的东西特别多并且各部分功能不一样的时候,上面分组就会很方便。并且,我们dataloader返回的结果,也将会是分组的,非常之方便。,那么dataloader返回的结果也会是嵌套的,反正不会乱掉。经过这次,确实更加了解了dataloader的强大的组织为批的能力。我以前还实现过collate_fn,现在看来,无法处理多组以及嵌套的情况,今天发现,原来可以返回多组,太自由了。甚至:还可以更加复杂的,例如嵌套,后来发现,原来一组不一定是由。组成,可以是任意的,例如。

2022-10-09 11:24:33 507

原创 RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

默认,实际的显卡号就是程序看到的显卡号,程序总是要放一点到0号去,那么我们就是更改程序看到的显卡号,比如将实际显卡号为1号的显卡映射为0号,这样就好了。我发现有的代码会默认将一部分东西放到0号显卡去(暂时没搞懂什么样的代码会,现在运行的是别人的项目),即时我看到其已经指定了将数据放在其他显卡。报错就这一句话,没有多余的报错信息,有的人的回答是针对其他情况的,所以,你自己对号入座决定是否看下去。这样的话,实际1号显卡,对你的程序来说就是0号,2号就是1号,。这个时候,由于0号显卡满了,就会报上述错误。

2022-10-06 11:14:00 391

转载 stochastic matrix,doubly-stochastic matrix (bistochastic matrix)

有些地方定义bistochastic matrix:the rows and columns of the matrix A sum to 1.(若矩阵A的行和与列和均为1,则A为bistochastic)如果在是stochastic矩阵的基础上,每列的和也均为1,那么此矩阵为 doubly stochastic。一个最简单的双随机矩阵例子是一个每项均为 1/n 的 n x n矩阵。如果一个方阵P的每一项均为非负的并且每行的和均为1,则称其为随机矩阵stochastic;

2022-10-04 11:06:37 40

原创 使用sklearn进行kmeans实战

很多人写得太复杂了,更多人谈到sklearn的时候,早就知道了kmeas的原理,只是想快速上手而已。我们知道,kmeans是无监督,没有标签。6个数据点,每一个点是二维的。我们使用kmeas进行聚类。是不是很简单,核心已经说完了。...

2022-08-15 16:41:24 668

原创 (已解决)Latex如何插入超链接

即,点击网址两个字,就会跳转到www.adff.com。在开头导入上述的包。

2022-08-02 16:44:58 874

原创 (完美解决)linux删除一个有特殊字符的文件

貌似有点麻烦哈,其实也没有办法,毕竟有些特殊字符会对命令造成影响,上面是不受影响的。一些特殊的字符的确有更快的处理方式,一步解决,但是上面那个两步却更加通用。网上有很多方法,但是有些方法只针对某些特殊字符,对其他特殊字符无能为力。然后我们可以看到,要删除的文件前面有一个编号,假设是123。这里,提供一种万能的方法。1.进入该文件所在的目录。...

2022-08-01 19:47:28 646

原创 (完美解决)为什么在train/val/test数据集上用train模式效果都很好,但是在eval模式下全部很差

因此,一个简单的对比就是,你在你的模型训练了好几轮,觉得效果不错了之后,停下来,选择几个训练集数据,比如5个,分别在train模式和eval模式下,打印他们输入,中间层以及结尾的结果,这个你自己看着办即可。在train模式下好,eval模式下差,我们可以理解为train模式下,最后一层得到的那一堆向量好,eval得到的那一堆向量差,从而逐步往前推。不管怎么说吧,首先引人注目的就是,我的4个数据,输入的均值和方差都特别不一样,尤其是方差,3万多的方差,吓死。成功了,同时发现,归一化之后训练得很快!...

2022-07-26 15:28:28 629

原创 (实用简单版)latex如何书写算法algorithm

看过很多使用latex写算法的,都感觉好复杂,导入的包就20,30个。这次我们使用包,感觉这个好用。在导入包的地方导入上面这个东西。这个例子包含了,写算法常常用到的:如下:效果图如下:...

2022-07-11 11:18:42 2804

原创 python中的counter类

这个类实在是太常用了,所以记录一下。这个类是用来计数的,统计一个列表中的元素各自出现了多少次。我们的流程是,先传入列表构造类,然后使用类的方法,得到我们想要的信息。结果如下:其表示,3出现了2次,其余都是1次。用于显示次数最多的n个元素,...

2022-07-09 19:30:46 251

原创 matplotlib如何设置xlabel以及ylabel的位置和大小

设置这两者都差不多,所以我们举一个例子就行,以ylabel为例。我们知道默认情况下,对于ylabel,其总是显示在y轴的中间,这个通常是没有问题的。但是,有的时候,我们的y轴分成了两部分,y轴的上半部分是另外一个图,这个时候,我们将下面这个图的ylabel放在中间就不合适了,应该放低一点。如下:这个好麻烦,暂时没有找到更好的办法,下面这个将就着使用吧。...

2022-07-09 16:39:43 3184

原创 matplotlib中两张图如何共用一个x轴,而y轴不一样。

共用一个x轴,而y轴不一样。本文给出两种解决办法,一般情况下,大家指代的可能是第一种。这种办法其实严格来说,并不是共用一个x轴,而是图一使用下面的x轴和左边的y轴,图二使用上面的x轴和右边的y轴。所以,为了将这两个图放在一起,图二的y轴数据需要取负号,这样图二的y轴就会是反的。从而两幅图,图一数据向上增长,图二数据向下增长。这个思路很简单,就是将图1画在y轴的正半轴,图2画在y轴的负半轴。缺点是由于是同一个y轴,从而两者的刻度比例是一样的。从而,如果图1的数据是非常大,图2的数据非常小,那么画出来的图就很

2022-07-09 15:15:11 947

原创 matplotlib绘图润色(如何形成高质量的图,例如设如何置字体等)

本来,如果只是你自己画图然后自己一个人偷着看看,一般是没有这个需求的,直接默认就好了。然而,如果你要把这个图印刷出版,或者放在论文中,或者放在PPT中展示。你会发现,默认的图不太行。比如放在论文中,如果默认的话,里面的字体会特别模糊。分辨率在开头加上下面这句,可以使得你的图片不会模糊。样式样式包括很多方便,字体大小,字体格式等。1.先说一个全局改变的,也就是说开头加上,然后全局有效,很方便。2.然后再局部改变的。参考1.https://blog.csdn.net/weixin_38468077

2022-07-03 16:47:04 149

littileprince1-5.txt

而且只选取了其5/25章来训练,模型可谓相当小,但是麻雀虽小五脏俱全。

2021-07-11

Dataset.rar

这是中文电影评论数据集,数据集还算大,大型模型可以用,小型模型使用一部分,所以也可以。数据集的质量挺高的。

2021-07-10

catsdogs.rar

猫狗分类的特意精选版,小巧版,一共2000张图片,测试集:400张图片,猫狗各半。 训练集:1600张图片,猫狗各半。 小巧数据集,可以保证,大概在2分钟之内训练完毕和测试完毕(一般笔记本)。

2021-07-04

convert_bert_tf_checkpoint_to_pytorch.py

将基于TensorFlow的谷歌发布的官方BERT模型转化为基于Pytorch的BERT模型

2021-06-26

chinese_wwm_ext_pytorch.rar

基于pytorch的中文bert模型。

2021-06-26

chinese_L-12_H-768_A-12.rar

这是一个已经训练好的中文bert模型,参数都是可以用的参数,可以直接拿来用。这个是轻量版的,不过要注意这个是基于Tensorflow的,不过据说有可以将其转化为pytorch版本的脚本,可以自己搜一下。

2021-06-26

中国科学院大学现代智能优化方法韩丛英老师期末考试要点

中国科学院大学现代智能优化方法韩丛英老师期末考试要点

2021-05-19

国科大2020-12-30自然语言处理考试.txt

国科大2020-12-30自然语言处理考试回忆

2021-05-11

中国计算机学会推荐的国际期刊和会议,

中国计算机学会推荐的国际期刊和会议-2019年发布的。在计算机的每一个方向都分为了A,B,C类。

2021-04-29

finaltest.txt

国科大编译高级教程期末考试考点和经验

2021-03-23

emnlp2021-latex.zip

atex版本EMNLP2021论文模板lEMNLP2021论文模板lEMNLP2021论文模板lEMNLP2021论文模板l

2021-03-20

acl-ijcnlp2021-templates.zip

latex版的ACL2021论文模板ACL2021论文模板ACL2021论文模板ACL2021论文模板ACL2021论文模板ACL2021论文模板

2021-03-20

Points-to analysis in almost linear time

Steensgaard的论文,指针分析的算法,流不敏感Points-to analysis in almost linear time,Points-to analysis in almost linear time,Points-to analysis in almost linear time

2020-12-11

Statistic-2.6.1.rar

这个可以用来统计你的项目的代码行数,我是用在android studio中,其他开发工具中也应该都可以用。这个是一个插件,很小。

2020-04-29

使用JSON所必须的6个包

在网络数据传输的时候选择把我们的数据变成json格式是非常好的,而这个就需要这6个包的支持。这6个包可以帮忙进行生成和解析,非常方便使用。

2020-04-28

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除