- 博客(293)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Pytorch的torch.nn.functional.cross_entropy的ignore_index细解
假设有两类{0:背景，1：前景}，若想在计算交叉熵时忽略背景(0)类，则可令ignore_index=0（同理忽略前景计算可设ignore_index=1）。例如我的pred是(b,2,w,h),而label索引是(b,1,w,h)的矩阵，其中只有0，1值，0值代表从pred的第0个通道选择像素值，1值代表从pred的第1个通道选择像素值。而此时我发现因为程序的错误，label矩阵中混入了一些-1值，这样正常的话是会报错的，因为pred矩阵没有-1通道。ignore_index表示计算。
2024-05-13 09:40:48
224
转载 大模型基础｜预训练｜有监督微调SFT
向量来屏蔽不希望计算loss的部分，下面就是数据构造的一个示意：做的事情就是拼接prompt和answer，并在answer两侧添加一个开始和结束的符号，算一下prompt/instruction的长度，以及后面需要pad的长度，然后生成一个mask向量，answer部分为1，其他部分为0。，也就是transformer(X)的维度还是(1,10,768)，接下来就是基于它来进行预测了，因为要预测哪个词，词的可能情况就是词表的大小，所以做的就是一个。通常LLM的预训练是无监督的，但微调过程往往是有监督的。
2024-05-12 11:37:24
19
转载 chatglm3-6b部署报错问题‘Textbox‘ object has no attribute ‘style‘
我们在部署chatglm2-b的时候可能出现'Textbox' object has no attribute '这是因为安装的第三方库gradio版本太高，降低版本即可。安装3.50.0或者3.49.0都可以。
2024-04-10 11:10:22
61
原创 numpy中的argpartition用法
一、np.argpartion()Numpy的argpartion函数来源于快排算法中的一个典型操作partition，即根据一个数值x，把数组中的元素划分成两半，使得index前面的元素都不大于x，index后面的元素都不小于x。np.argpartition不对原数组操作，只返回一个按照上述操作排序过后的index。通过这个函数可以高效地找到 N 个最大值的索引并返回 N 个值。在给出索引后，我们可以根据需要进行值排序。
2023-05-16 20:29:45
901
1
转载 pip install git+https://github.com/XXX/XXX 命令报错
推测：可能是下载出了问题，使用git clone 下载或者直接download下载到本地。然后进去该文件目录下，找到setup.py文件，在该目录下执行，即可解决错误。错误：不能正确访问"https://github.com/xxx/xxx。下面是官网的截图，可以看出其实官方是不推荐使用这种方式安装的。如果想通过git+https这种方式安装，可以参考官方文档。笔记：这个错误源资源子进程，可能不是pip的问题。",TLS 被终止。
2023-04-01 16:58:39
1449
原创 elsevier官网提交论文BUG（! LaTeX Error: Mismatched LaTeX support files detected.(LaTeX) Loading ‘expl3.st）
2023年3月期间，elsevier提交论文总是出BUG，问题在于elsarticle.cls文件不兼容，解决方法是提交19年之前的elsarticle.cls，且所有附件都以manuscript形式提交，需要提交文件包括tex、bib、bbl、png、cls. 如果第一次仍然编译不出来，显示图片不能识别，第二次不做改变任何，显示编译成功.然后在本地再重新进行编译，再将编译过后的 .tex文件上传系统，就可以编译成功。（2） 继续在 cmd 中，执行以下命令，生成样式。, 提取码: 8vki。
2023-03-30 16:46:40
1233
转载 Elsevier（爱思唯尔）LaTex 模板详细说明
文章目录Elsevier 模板的使用1. 通用模板使用说明1.1 文件说明1.2 模板说明2. 复杂版式模板使用说明2.1 文件说明2.2 模板说明2.3 其他修改2.4 常见报错解决先放出本文的核心产出：通用模板，无报错可直接编译：https://github.com/yaoyz96/elsarticle复杂版式模板，无报错可直接编译：https://github.com/yaoyz96/els-cas-templates。
2023-03-30 16:28:13
27632
38
原创 关于在python中TagMe包的使用说明以及测试
再者就是无二义性，例如概念“Apple”包含的含义有很多，其中就有指代“水果苹果”或者“苹果公司”，要想知道其真正含义要结合其上下文，如果指代苹果公司，那么应该把该概念转化成“Apple Inc.”，该概念就可以明确表达苹果公司的含义。安装完后还不能用，因为还要有个号，对，没错，你还要去注册一个账号使其拥有一个叫“Authorization Token”的序列号，当然注册是免费的。TagMe目前是科学界最好的实体链接工具之一，具有非常好的性能，特别是在注释短文本时（即由几十个术语组成的那些）。
2023-03-27 22:27:43
703
转载 GCN之邻接矩阵标准化
GCN每一层的输入都是节点特征矩阵H和邻接矩阵A，直接将这两个做内积，再乘以一个参数矩阵W，用激活函数激活，就形成一个简单的层。
2023-03-20 16:06:02
1084
转载 pytorch稀疏矩阵处理（torch.sparse）
pytorch稀疏矩阵（torch.sparse）Pytorch稀疏矩阵处理稀疏矩阵存储方式1. COO2. CSR/CSC3. LIL稀疏矩阵的处理1.torch.sparse.FloatTensor类参考资料Pytorch稀疏矩阵处理本文将简单介绍稀疏矩阵常用的存储方式和Pytorch中稀疏矩阵的处理方法。常用的稀疏矩阵存储格式有COO，CSR/CSC，LIL。稀疏矩阵存储方式1. COO。
2023-03-20 15:10:22
1571
转载 分析理解 scipy.sparse.csr_matrix 中的 indptr & indices & data
第1行非零元素个数：5 - 2 = 3；位置分别在index = 0，1，3；数值分别为1，1，2。第0行非零元素个数：2 - 0 = 2；位置分别在index = 1，3；第2行非零元素个数：7 - 5 = 2；位置分别在index = 0，2；稀疏矩阵的默认列数：col = max(indices) + 1 = 3 + 1 = 4。稀疏矩阵的行数：row = len(indptr) - 1 = 4 - 1 = 3。
2023-03-20 14:58:28
205
转载 散点图和箱线图
stripplot(分布散点图)接下来就直接上代码演示，首先导入相应的包。下面是本次演示所使用的数据集：我们先来看一下stripplot是什么样的可以看到stripplot的作图原理就是按照x属性所对应的类别分别展示y属性的值，适用于分类数据。上图就是不同饭点的账单总金额的散点图。接下来讲解一下stripplot的主要参数，在这里我们只讲stripplot特有的一些参数，其他一些seaborn中常见参数的介绍可以翻看之前的文章。x：设置分组统计字段y：设置分布统计字段。
2023-03-16 09:34:07
987
原创 AttributeError:模块“preprocessor“没有属性“set_options“
尝试安装 tweet-preprocessor。
2023-03-14 14:39:23
257
转载 heatmap热力图
热力图的右侧是颜色带，上面代表了数值到颜色的映射，数值由小到大对应色彩由暗到亮。从上面的heatmap中我们可以得到两层信息，一是随着时间的推移，飞机的乘客数量是在逐步增多的，二是航班的乘坐旺季在七月和八月份。热力图在实际中常用于展示一组变量的相关系数矩阵，在展示列联表的数据分布上也有较大的用途，通过热力图我们可以非常直观地感受到数值大小的差异状况。参照mask和上面绘制的图，应该就很容易理解了，mask中为1的部分，就是要被盖掉的部分。的数值，我们得把数值进行格式化，这就用到了下面的参数。
2023-03-03 17:11:13
3617
2
转载 torch.argmax()函数
argmax函数：torch.argmax(input, dim=None, keepdim=False) 返回指定维度最大值的序号，dim给定的定义是：the demention to reduce，就是把dim这个维度，变成这个维度的最大值的index。1）dim表示不同维度。特别的在dim=0表示二维矩阵中的列，dim=1在二维矩阵中的行。广泛的来说，我们不管一个矩阵是几维的，比如一个矩阵维度如下：(d0,d1,…,dn−1) ，那么dim=0就表示对应到d0 也就是第一个维度，dim=1表示对应到也
2022-12-05 16:15:09
250
原创 python WARNING: Retrying (Retry(total=4, connect...) ERROR: Cannot determine archive format of /tmp/
解决方法：出现该错误信息是因为pip源连接证书验证失败，将pip源调整为国内的源就可以了，比如要下载fitlog下面是收集的一些国内的pip源：阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/
2022-11-22 20:46:00
519
转载 LaTeX插入参考文献，简单高效
如何用.bib文件自动生成论文Reference一般期刊或会议给的Latex模板会自带参考文献样式，因此，可以利用.bib文件来自动生成该模板下的参考文献样式。下面以引用以下三篇论文为例，来说明如何生成.bib文件，然后利用.bib文件自动生成Reference。引用论文：1.生成.bib文件。
2022-10-18 09:46:45
28327
1
转载 LaTex中使用表格时多行合并报错Undefined control sequence multirow
【代码】LaTex中使用表格时多行合并报错Undefined control sequence multirow。
2022-10-11 16:38:05
8183
原创 The ‘data’ object was created by an older version of PyG. If this error occurred while loading ...
目前使用PyG库需要的下载的whl主要为torch-cluster;一开始以为是pickle的问题，实际上最终就是torch-geometric版本不对的问题。也就是原因：torch和torch-geometric版本不兼容造成的。torch-sparse后，所有教程都是直接：pip install torch-geometric。这时候安装的 torch-geometric2.0.X版本的，这时候读取数据就会出现上面所述的错误，此时我们需要下载1.X.X低版本的 torch-geometric。
2022-10-04 16:30:58
3265
原创 LaTex将普通图片格式转换成高清图片格式eps
在我们使用LaTex进行文章的创作（copy）时，难免会需要插入一些图片，插入图片的格式一般有png、jpg和eps等，大部分时候，如果为了方便起见，可以直接使用前两个格式插入。但是为了追求更高清的图片显示，以及一些接收方的要求，强制必须使用eps时，如何快速的将png或jpg转换为eps格式的图片呢？其中“figurename.png”为要转换图片的路径，“figurename.eps”为目标eps图片路径，-c参数代表要生成的是彩色eps图片，否则的话，图片中的色彩信息会丢失，变成黑白图片。
2022-09-17 19:44:54
1945
原创 教你安装Stanford NLP
4)把解压后的StanfordCoreNLP文件夹(个人习惯，这里我重命名为stanford_nlp)和下载的Stanford-chinese-corenlp-2018-02-27-models.jar放在同一目录下(注意一定要在同一目录下，否则执行会报错)StanfordcoreNLP是斯坦福大学开发的一套关于自然语言处理的工具(toolbox)，使用简单功能强大，有命名实体识别、词性标注、词语词干化、语句语法树的构造还有指代关系等功能，使用起来比较方便。会抛出找不到文件异常。...
2022-08-01 15:41:33
1726
2
转载 PolyLoss：一种将分类损失函数加入泰勒展开式的损失函数
POLYLOSS原理和公式推导我就不过多介绍了，想了解的同学可以自己看一下论文。该篇论文发现，其实仅增加一个多项式系数就相比与原始的Cross-Entropy Loss和Focal Loss在多种图像任务上有所提高。并且论文中提供了TF的相关代码，详细如下：import tensorflow as tfdef cross_entropy_tf(logits, labels, class_number): """TF交叉熵损失函数""" labels = tf.one_hot(
2022-07-29 15:45:29
382
转载 执行git clone拉取代码出现错误RPC failed,curl 56 OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054解决方法
最近在系统学习多线程并发的课程，课程中讲到了unsafe类，由于unsafe类在jdk中看不到源码，在idea中打开是反编译的，看不到具体的注释，所以去github上拉取openjdk的源码，openjdk上可以看到源码注释，但是在拉取时，一开始是好好地，但是拉取了一二十分钟后，突然报错了以前在github上拉取过很多图书的源码（买了很多技术书籍），拉取代码都是正常的，就是这次出错了，解决方法也很简单：继续输入命令git config http.sslVerify "false"
2022-04-06 22:44:04
1385
原创 ImportError: cannot import name ‘SAVE_STATE_WARNING‘ from ‘torch.optim.lr_sc
在使用pytorch时遇到的问题，问题描述：ImportError: cannot import name 'SAVE_STATE_WARNING' from 'torch.optim.lr_sc解决方法：默认安装的torch版本是1.8版本，降低torch的版本为1.7.1即可。或者是升级transformers版本...
2022-04-06 11:02:59
2847
原创 使用tensorboard出现： “couldn‘t build proto file into descriptor pool”
当使用tensorboard时，出现了错误：“couldn’t build proto file into descriptor pool!”出现该问题的原因可能为：1、tensorboard与tensorflow的版本不合适2、tensorboard与tensorboardX的版本不合适3、tensorboardX与Pytorch的版本不合适4、protobuf的版本不合适尤其是在你的环境中，同时具有tensorboard和tensorboardX时，更有可能出现上述问题。我给出
2022-04-06 11:02:11
1087
1
转载 conda创建、查看、删除虚拟环境
conda 如何创建、查看、删除py的虚拟环境：(补充： conda国内源配置 可参考：https://blog.csdn.net/suiyueruge1314/article/details/105124806)１、创建虚拟环境：Anaconda创建环境：比如，创建pyhon＝3.6的版本环境取名叫 nlpconda create -n nlp python=3.62、删除虚拟环境操作：（谨慎操作）conda remove -n nlp --all３、激活环境co
2022-04-01 21:50:56
807
转载 回溯算法的题目，这样做，效果看的见
这一篇文章来讲解一下如何做leetcode回溯算法题目，这一段时间我把leetcode上面的回溯算法的题目都刷了个遍，发现了其中一些规律，所以，就想写一篇文章来总结一下，怕以后忘记。刷完回溯算法的题目，我发现其实可以总结为三大类：子集问题、组合问题、排列问题，那这三大类都是什么意思呢，我分别举一个例子来说明。子集问题，比如说，数组[1,2,3]，那么对应的子集问题就是，这个数组的子集有：[],[1],[2],[3],[1,3],[2,3],[1,2],[1,2,3]，这就是这个数组的子集，这一类问题
2022-04-01 21:50:18
68
原创 使用allennlp遇到的问题：allennlp.common.checks.ConfigurationError: snli not in acceptable choices for datase
问题描述：最近因为课题需要使用allennlp包，self.cp = Predictor.from_path("https://storage.googleapis.com/allennlp-public-models/elmo-constituency-parser-2020.02.10.tar.gz", cuda_device=self.device) 结果出现报错allennlp.common.checks.ConfigurationError: nernot in acceptable c.
2022-03-12 11:09:19
2145
1
转载 ModuleNotFoundError: No module named ´sklearn.utils.linear_assignment_´
问题从sklearn.utils.linear_assignment_ 导入包 linear_assignmentfrom sklearn.utils.linear_assignment_ import linear_assignment1报错No module named ‘sklearn.utils.linear_assignment_’1解决1.使用scipy.optimize.linear_sum_assignment 替代通过百度、谷歌都没有弄明白，基本上都是说sklear.
2022-03-11 14:19:21
659
1
原创 Allennlp执行train时 出现 field None type相关的报错
使用allennlp ==0.9.0时发生了 TypeError: ArrayField.empty_field: return type `None` is not a `<class 'allennlp.data.fields.field.Field'>`.经Google，出现该问题因为同时使用的overrides包版本太高，把它降低版本即可解决方法：错误来源于Overrides包. 换成较旧的版本即可pip install overrides==4.1.2...
2022-03-11 14:11:53
1181
1
转载 Latex IEEE模板-多作者多单位的几种写法
EEE模板会议论文对于多作者多单位的文章，有好几种写法，我这里都给列一下。IEEE模板的下载地址：IEEE - Manuscript Templates for Conference Proceedings写法一\author{ \IEEEauthorblockN{San Zhang\IEEEauthorrefmark{a*}, Si Li\IEEEauthorrefmark{a,b}, Wu Wang\IEEEauthorrefmark{b}} \IEEEauthorblo
2022-01-24 09:59:56
8688
2
转载 RoBERTa中的merge.txt和vocab.json是什么？
背景在使用其他组织或个人发布的RoBERTa预训练模型时，一般除了模型文件之外还会有merges.txt和vocab.json。相比于BERT只需要一个vocab.txt，为何RoBRETa需要2个？作用是什么？PS：这里使用的是huggingface/transformers 下的 RoBRTa-base版模型。说明Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是**byte level的BPE(BBPE)**编码，预训练结果中的merges.txt中存储了BBP
2021-12-27 10:36:03
1686
转载 PyTorch多GPU模型保存和加载的一个注意事项-Unexpected key(s) in state_dict
用PyTorch加载已经保存好的模型参数文件时遇到一个bug：Unexpected key(s) in state_dict: “module.features. …”.，Expected “.features…”意思是从本地文件中加载模型的state_dict时，state_dict的key值不匹配。查了一些资料后，发现是PyTorch多gpu保存的问题，导致保存下来的state_dict中的key比原来都多了一个module，因此出现了上述这个问题。下面简单验证一下。import to
2021-12-26 16:42:37
2408
2
转载 公式识别软件
https://mathpix.com/下载地址本文推荐一个公式输入神器，只要截图就能识别公式，手写的公式都能识别。经过实测，几乎没有识别不出的公式，并可以输入到word、markdown、latex文件。一、前言写论文、博客，技术文档，公式输入非常麻烦，绝大部分朋友记不住latex代码，机器之心推荐了一篇文章《最好用的文字与公式编辑器，这套数学笔记神器送给你》推荐了公式神器 Mathpix Snip。本站对这个神器进行实测。二、识别公式测试Mathpix Snip 这款神器只要截个图，
2021-12-24 16:13:32
5326
转载 NLP自然语言处理中英文分词工具集锦与基本使用介绍
一、中文分词工具（1）Jieba（2）snowNLP分词工具（3）thulac分词工具（4）pynlpir 分词工具（5）StanfordCoreNLP分词工具1.from stanfordcorenlp import StanfordCoreNLP2.with StanfordCoreNLP(r'E:\Users\Eternal Sun\PycharmProjects\1\venv\Lib\stanford-corenlp-full-2018-10-05', l
2021-12-16 15:54:46
676
转载 Transformers包中BERT类预训练模型下载链接备份
bin文件文件位置：/transformers/modeling_bert.pyBERT_PRETRAINED_MODEL_ARCHIVE_MAP = { "bert-base-uncased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-pytorch_model.bin", "bert-large-uncased": "https://s3.amazonaws.com/model
2021-12-06 10:42:49
877
转载 Spacy简单入门
安装Spacypip install spacy导入工具包和英文模型#python -m spacy download en文本处理import spacynlp=spacy.load('en')#分词doc=nlp('Weather is good, very windy and sunny. We have no classes in the afternoon.')for token in doc: print(token)#分句for sent in
2021-11-30 14:43:54
451
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人