学术研究
anshiquanshu
这个作者很懒,什么都没留下…
展开
-
heatmap热力图
热力图的右侧是颜色带,上面代表了数值到颜色的映射,数值由小到大对应色彩由暗到亮。从上面的heatmap中我们可以得到两层信息,一是随着时间的推移,飞机的乘客数量是在逐步增多的,二是航班的乘坐旺季在七月和八月份。热力图在实际中常用于展示一组变量的相关系数矩阵,在展示列联表的数据分布上也有较大的用途,通过热力图我们可以非常直观地感受到数值大小的差异状况。参照mask和上面绘制的图,应该就很容易理解了,mask中为1的部分,就是要被盖掉的部分。的数值,我们得把数值进行格式化,这就用到了下面的参数。转载 2023-03-03 17:11:13 · 3943 阅读 · 2 评论 -
散点图和箱线图
stripplot(分布散点图)接下来就直接上代码演示,首先导入相应的包。下面是本次演示所使用的数据集:我们先来看一下stripplot是什么样的可以看到stripplot的作图原理就是按照x属性所对应的类别分别展示y属性的值,适用于分类数据。上图就是不同饭点的账单总金额的散点图。接下来讲解一下stripplot的主要参数,在这里我们只讲stripplot特有的一些参数,其他一些seaborn中常见参数的介绍可以翻看之前的文章。x:设置分组统计字段y:设置分布统计字段。转载 2023-03-16 09:34:07 · 1052 阅读 · 0 评论 -
python WARNING: Retrying (Retry(total=4, connect...) ERROR: Cannot determine archive format of /tmp/
解决方法:出现该错误信息是因为pip源连接证书验证失败,将pip源调整为国内的源就可以了,比如要下载fitlog下面是收集的一些国内的pip源:阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/原创 2022-11-22 20:46:00 · 549 阅读 · 0 评论 -
如何在参考书目中获得格式良好的url ?
【代码】如何在参考书目中获得格式良好的url?翻译 2022-11-07 15:27:14 · 204 阅读 · 0 评论 -
LaTeX插入参考文献,简单高效
如何用.bib文件自动生成论文Reference一般期刊或会议给的Latex模板会自带参考文献样式,因此,可以利用.bib文件来自动生成该模板下的参考文献样式。下面以引用以下三篇论文为例,来说明如何生成.bib文件,然后利用.bib文件自动生成Reference。引用论文:1.生成.bib文件。转载 2022-10-18 09:46:45 · 28775 阅读 · 1 评论 -
LaTex中使用表格时多行合并报错Undefined control sequence multirow
【代码】LaTex中使用表格时多行合并报错Undefined control sequence multirow。转载 2022-10-11 16:38:05 · 8761 阅读 · 0 评论 -
The ‘data’ object was created by an older version of PyG. If this error occurred while loading ...
目前使用PyG库需要的下载的whl主要为torch-cluster;一开始以为是pickle的问题,实际上最终就是torch-geometric版本不对的问题。也就是原因:torch和torch-geometric版本不兼容造成的。torch-sparse后,所有教程都是直接:pip install torch-geometric。这时候安装的 torch-geometric2.0.X版本的,这时候读取数据就会出现上面所述的错误,此时我们需要下载1.X.X低版本的 torch-geometric。原创 2022-10-04 16:30:58 · 3375 阅读 · 0 评论 -
LaTex将普通图片格式转换成高清图片格式eps
在我们使用LaTex进行文章的创作(copy)时,难免会需要插入一些图片,插入图片的格式一般有png、jpg和eps等,大部分时候,如果为了方便起见,可以直接使用前两个格式插入。但是为了追求更高清的图片显示,以及一些接收方的要求,强制必须使用eps时,如何快速的将png或jpg转换为eps格式的图片呢?其中“figurename.png”为要转换图片的路径,“figurename.eps”为目标eps图片路径,-c参数代表要生成的是彩色eps图片,否则的话,图片中的色彩信息会丢失,变成黑白图片。原创 2022-09-17 19:44:54 · 2008 阅读 · 0 评论 -
长公式分行,split
latex split原创 2022-06-14 16:25:37 · 1140 阅读 · 0 评论 -
PolyLoss:一种将分类损失函数加入泰勒展开式的损失函数
POLYLOSS原理和公式推导我就不过多介绍了,想了解的同学可以自己看一下论文。该篇论文发现,其实仅增加一个多项式系数就相比与原始的Cross-Entropy Loss和Focal Loss在多种图像任务上有所提高。并且论文中提供了TF的相关代码,详细如下:import tensorflow as tfdef cross_entropy_tf(logits, labels, class_number): """TF交叉熵损失函数""" labels = tf.one_hot(转载 2022-07-29 15:45:29 · 400 阅读 · 0 评论 -
conda创建、查看、删除虚拟环境
conda 如何创建、查看、删除py的虚拟环境:(补充: conda国内源配置 可参考:https://blog.csdn.net/suiyueruge1314/article/details/105124806)1、创建虚拟环境:Anaconda创建环境:比如,创建pyhon=3.6的版本环境取名叫 nlpconda create -n nlp python=3.62、删除虚拟环境操作:(谨慎操作)conda remove -n nlp --all3、激活环境co转载 2022-04-01 21:50:56 · 822 阅读 · 0 评论 -
Allennlp执行train时 出现 field None type相关的报错
使用allennlp ==0.9.0时发生了 TypeError: ArrayField.empty_field: return type `None` is not a `<class 'allennlp.data.fields.field.Field'>`.经Google,出现该问题因为同时使用的overrides包版本太高,把它降低版本即可解决方法:错误来源于Overrides包. 换成较旧的版本即可pip install overrides==4.1.2...原创 2022-03-11 14:11:53 · 1230 阅读 · 1 评论 -
Latex IEEE模板-多作者多单位的几种写法
EEE模板会议论文对于多作者多单位的文章,有好几种写法,我这里都给列一下。IEEE模板的下载地址:IEEE - Manuscript Templates for Conference Proceedings写法一\author{ \IEEEauthorblockN{San Zhang\IEEEauthorrefmark{a*}, Si Li\IEEEauthorrefmark{a,b}, Wu Wang\IEEEauthorrefmark{b}} \IEEEauthorblo转载 2022-01-24 09:59:56 · 9048 阅读 · 2 评论 -
RoBERTa中的merge.txt和vocab.json是什么?
背景在使用其他组织或个人发布的RoBERTa预训练模型时,一般除了模型文件之外还会有merges.txt和vocab.json。相比于BERT只需要一个vocab.txt,为何RoBRETa需要2个?作用是什么?PS:这里使用的是huggingface/transformers 下的 RoBRTa-base版模型。说明Bert采用的是字符级别的BPE编码,直接生成词表文件。Roberta采用的是**byte level的BPE(BBPE)**编码,预训练结果中的merges.txt中存储了BBP转载 2021-12-27 10:36:03 · 1797 阅读 · 0 评论 -
NLP自然语言处理中英文分词工具集锦与基本使用介绍
一、中文分词工具(1)Jieba(2)snowNLP分词工具(3)thulac分词工具(4)pynlpir 分词工具(5)StanfordCoreNLP分词工具1.from stanfordcorenlp import StanfordCoreNLP2.with StanfordCoreNLP(r'E:\Users\Eternal Sun\PycharmProjects\1\venv\Lib\stanford-corenlp-full-2018-10-05', l转载 2021-12-16 15:54:46 · 704 阅读 · 0 评论 -
Transformers包中BERT类预训练模型下载链接备份
bin文件文件位置:/transformers/modeling_bert.pyBERT_PRETRAINED_MODEL_ARCHIVE_MAP = { "bert-base-uncased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-pytorch_model.bin", "bert-large-uncased": "https://s3.amazonaws.com/model转载 2021-12-06 10:42:49 · 910 阅读 · 0 评论 -
Spacy简单入门
安装Spacypip install spacy导入工具包和英文模型#python -m spacy download en文本处理import spacynlp=spacy.load('en')#分词doc=nlp('Weather is good, very windy and sunny. We have no classes in the afternoon.')for token in doc: print(token)#分句for sent in转载 2021-11-30 14:43:54 · 473 阅读 · 0 评论 -
使用spacy报错TypeError: Argument ‘other‘ has incorrect type (expected spacy.tokens.token.Token, got str)
这是因为spacy返回是给了你一个对象,而不仅仅是文本。。。使用nlp时,请尝试:sentence = 'The legislation allowed California to be admitted to the Union as what kind of state?'doc = nlp(sentence)for i in doc.noun_chunks: list_2.append(i.text)# 注意这里的i后面要加text,即为i.text才可以。...原创 2021-11-26 11:10:08 · 1431 阅读 · 0 评论 -
Latex中如何设置字体颜色(三种方式)
1.直接使用定义好的颜色\usepackage{color}\textcolor{red/blue/green/black/white/cyan/magenta/yellow}{text}其中textcolor{...}中包含的是系统定义好的颜色2.组合red、green和blue的值合成我们想要的颜色\usepackage{color}\textcolor[rgb]{r,g,b}{text}其中{r,g,b}代表red、green和blue三种颜色的组合,取值范围为[0-.转载 2021-06-18 10:13:57 · 20017 阅读 · 0 评论 -
torch.contiguous()方法
orch.contiguous()方法语义上是“连续的”,经常与torch.permute()、torch.transpose()、torch.view()方法一起使用,要理解这样使用的缘由,得从pytorch多维数组的低层存储开始说起:touch.view()方法对张量改变“形状”其实并没有改变张量在内存中真正的形状,可以理解为:view方法没有拷贝新的张量,没有开辟新内存,与原张量共享内存;view方法只是重新定义了访问张量的规则,使得取出的张量按照我们希望的形状展现。pytorch与num转载 2021-05-27 19:59:53 · 369 阅读 · 0 评论 -
Pytorch使用细节总结
Pytorch保存和加载模型Pytorch保存和加载模型后缀.pt 和.pth保存整个模型:torch.save(model,'save.pt')只保存训练好的权重:torch.save(model.state_dict(), 'save.pt')加载模型:pretrained_dict = torch.load("save.pt")只加载模型参数:model.load_state_dict(torch.load("save.pt")) #model.loa转载 2021-03-26 14:57:06 · 409 阅读 · 0 评论 -
RuntimeError: Length of all samples has to be greater than 0, but found an element in ‘lengths‘ that
最近在使用pack_padded_sequence出现了RuntimeError: Length of all samples has to be greater than 0, but found an element in ‘lengths’ that is <= 0这个错误,刚开始百思不得其解,后来发现 问题出现在pack_padded_sequence(seq, seq_lengths, batch_first=True, enforce_sorted=False),里面的参数seq_leng原创 2021-03-23 22:44:40 · 2840 阅读 · 4 评论 -
【Pytorch】对比matual,mm和bmm函数
pytorch中提供了matmul、mm和bmm等矩阵的乘法运算功能,但其具体计算细节和场景截然不同,应予以注意和区别。1. torch.mm该函数即为矩阵的乘法,torch.mm(tensor1, tenor2),参与计算的两个张量必须为二维张量(即矩阵),其结果张量out的维度关系满足:o u t ( p × q ) = t 1 ( p × m ) ∗ t 2 ( m × q ) out(p\times q)=t_1(p\times m)*t_2(m\times q)out(p×q)=t1(.转载 2020-12-18 11:09:20 · 1540 阅读 · 1 评论 -
短文本相似度算法研究
短文本相似度,即求解两个短文本之间的相似程度;它是文本匹配任务或文本蕴含任务的一种特殊形式,返回文本之间相似程度的具体数值。然而在工业界中,短文本相似度计算占有举足轻重的地位。例如:在问答系统任务(问答机器人)中,我们往往会人为地配置一些常用并且描述清晰的问题及其对应的回答,我们将这些配置好的问题称之为“标准问”。当用户进行提问时,常常将用户的问题与所有配置好的标准问进行相似度计算,找出与用户问题最相似的标准问,并返回其答案给用户,这样就完成了一次问答操作。目前,短文本相似度算法可以分为三大类:(1转载 2020-12-15 20:12:06 · 1640 阅读 · 0 评论 -
Linux下非root安装GCC9.1.0
说明一般Linux系统自带或公共的GCC版本都很低,如目前我们的服务器版本的GCC还停留在gcc-4.9.3,而官网已到达9.2版本(下载http://ftp.gnu.org/gnu/gcc/),有些项目编译时需要更高版本的GCC,这时就需要自己额外安装一个了。网上关于非root用户的教程有很多,但大多数都很旧且不靠谱,我找到了几个比较实用的,总结一下,亲测有效。安装GCC主要依赖三个库:GMP,MPFR和MPC,另还有个ISL库(不知是否是必需)。之前的旧版本可能需要手动依次安装这些依...原创 2020-07-11 11:07:54 · 1696 阅读 · 3 评论 -
4位学术牛人教你如何读文献、用文献
【一】学术牛人1:用自己的话概括和梳理文献 及时回顾心得和经验:我现在每天还保持读至少2-3篇的文献的习惯。读文献有不同的读法,但最重要的自己总结概括这篇文献到底说了什么,否则就是白读,读的时候好像什么都明白,一合上就什么都不知道,这是读文献的大忌,既浪费时间,最重要的是,没有养成良好的习惯,导致以后不愿意读文献。一、回顾重要内容每次读完文献(不管是细读还是粗读),合上文献转载 2016-11-29 18:56:20 · 1300 阅读 · 2 评论