- 博客(40)
- 收藏
- 关注
原创 streamlit command not found
我们需要将python安装路径下的bin配置为系统变量,export PATH=$PATH:/usr/local/python3.8/bin/,当然这段命令只能用于一次终端的启动,终端关闭改变就消失了,更多方法可以参考其他的linux修改系统变量的方式,修改过后就可以正常使用streamlit run xxx.py了。我使用的是阿里云的centOS服务器,python版本3.8.3,在pip安装了streamlit后,无法使用。原因:和windows上一样,需要配置环境变量。
2024-06-22 21:55:32 310
原创 Huggingface报错
data_collator要对dataset中的所有列做填充,对于input_ids, attention_mask, labels 模型知道如何pad(因为他们是列表或者张量),但是对于text和label来说,他们是字符串,模型不知道该怎么填充。
2024-03-07 14:35:39 617
原创 transformers Trainer自定义optimizer和scheduler
我自定义了一个evaluate方法,想在每一轮训练过后都执行一次。如果只是在TrainingArguments里设置warmup_steps=100,那么每轮都会重置学习率,可以通过自定义optimizers的方法来解决
2024-01-03 16:57:42 1079
原创 huggingface中Trainer设置了compute_metric后爆显存
我使用huggingface的Trainer,利用Lora微调Llama2模型,在我设置了compute_metrics属性后,出现Out of memory。
2023-12-25 14:11:41 1548
原创 from_pretrained模型权重无法复制
如果我们让一个类继承了PretrainedModel,并对它调用from_pretrained方法,它的权重是在构造方法(__init__)方法执行过后才赋给了相应的模块,所以如果我们试图在构造方法里面获取某部分的权重,则只会得到一个随机权重。则会发现并没有成功复制,而是获得了一个随机初始化的权重。如果想要成功复制,则需要在执行过from_pretrained后才进行调用。
2023-09-25 14:23:54 169
原创 pycharm 没有project mapping
原因是新版的pycharm将设置mapping的地方放到了添加Interpreter里面。点击Add Interpreter选项。Sync folders极为路径映射。
2023-09-14 13:24:26 274
原创 Assertion `index >= -sizes[i] && index < sizes[i] && “index out of bounds“` failed.
operator(): block: [0,0,0], thread: [5,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed.的一种解决方案
2023-07-01 20:52:51 828
原创 Mimicking the Thinking Process for Emotion Recognition in Conversation with Prompts and Paraphrasing
文章给我最大的启发在于给了很多细粒度或者说“会被忽略的”的知识的利用方法,例如如何利用说话人的背景知识,如何让情感标签之间的区别更大。
2023-06-18 17:59:10 186 2
原创 论文笔记——Generating Training Data with Language Models:Towards Zero-Shot Language Understanding
这篇文章探讨的是如何提升”某种意义上“的zero-shot性能。重点讨论的是双向模型的NLU(自然语言理解)性能。
2023-05-26 16:25:46 367 2
原创 GPT3:让我们发现了大模型的伟力
正常来讲,如果模型完全没有见过任何明确的该任务的样例,它应该无法成功的推理出结果,但在模型参数由1.3B到13B,在Number of Example为0时居然也有0以上的性能,而当参数量达到175B时,其性能居然开始可观,这是一件极其离谱的事情。在大量参数及数据的堆砌下,模型神奇的拥有了zero-shot的能力,也就是我们并不需要给模型样例,模型就能有一定的推理能力得到结果(当然,结果必然是不如one-shot和few-shot)。这就意味着,大模型的性能固然重要,那么,代价是什么呢?
2023-05-17 17:41:19 196
原创 如何利用huggingface训练自回归语言模型
然后获得我们所需的输入,要注意的是如果采用的是Encoder-Decoder架构,例如T5,input_ids对应的就是对话历史的编码,labels对应的就是回复的编码。对于自回归语言模型(例如GPT-2),input_ids是对话历史与回复编码的concate,labels是将input_ids中的context部分变为-100后的tensor(也就是只保留response部分,其余为-100).前者为对话历史,后者为对应的回复,我们首先要做的是加载模型,将两句话进行编码。
2023-05-13 12:42:26 388
原创 论文阅读笔记——Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text Generation
多属性的可控文本生成介绍
2023-04-08 16:56:11 260
原创 RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`
RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`的可能解决思路:embedding维度错误,只要让对应的embedding和词表维度相对应就好
2023-03-11 18:02:07 2408
原创 论文笔记——EMPATHETIC RESPONSE GENERATION VIA EMOTION CAUSE TRANSITION GRAPH
该论文发表在ICASSP,即International Conference on Acoustics, Speech and Signal Processing,是IEEE名下的,很明显这并不是一个做文本的学术会议总体评价是:这不是一篇好的论文,只能是说思路可以看,但细节完全不忍直视。
2023-03-01 12:31:16 269 1
原创 在IDE里正常但在命令行里出现ModuleNotFoundError
在IDE里正常但在命令行里出现ModuleNotFoundError的解决方法
2023-01-12 14:07:26 220
原创 负采样及其在skip-gram中的实现
本文参考了李沐老师在《动手学深度学习》中的代码,加入了自己的理解,并绘制了网络结构图,希望能让各位更理解负采样在skip-gram中的应用。
2022-09-05 11:31:16 1540
原创 anaconda其他环境安装jupyter
默认anaconda是在base环境下安装了jupyter,而自己创建的其他环境并没有安装。有以下三个步骤1.激活你需要切换的环境,假设我需要使用的环境是ML_tensorconda activate ML_tensor2.安装ipykernelconda install ipykernel3.将你的环境添加进去(里面的--user和--name不要动)python -m ipykernel install --user --name ML_tensor三个步骤结束,重启a
2022-05-12 21:28:35 761 1
原创 keras中LSTM的输入问题
当LSTM在Sequential第一层时,需要设置它的输入形状,为[time_stamp,input_dim],举例来说,有一段数据如下:X = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])X = X.reshape(2,5,1)timesteps=5data_dim=1model = keras.Sequential()model.add(keras.layers.LSTM(32, return_sequences=True, input_shape=
2022-01-29 22:15:59 3146
原创 层次建立二叉树(类似于二叉树的层次遍历,使用队列)
联想二叉树的层次遍历,也就是弹出当前节点-处理当前节点-左孩子入队(非空)-右孩子入队(非空)。代码如下(使用c++,但基本用的是C语言的语法)typedef struct BiTNode{ TElemType data; struct BiTNode* lchild,*rchild;}BiTNode,*BiTree;Status CreateBiTree(BiTree &T){ char ch;int MaxSize=50; BiTree queuep
2021-08-19 19:46:31 540
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人