python
文章平均质量分 57
python
CodeWang_NC
三人行, 必有我师
展开
-
句子/文本向量化的三种表示方法
这里是利用last_hidden_state的mean进行表示 但这个表示如果利用批量文本向量化的时候可能会出现问题,因为mean的时候会考虑padding, cls_embedding, 和pool_embedding就不会出现这种情况。原创 2023-11-19 19:07:03 · 437 阅读 · 0 评论 -
tokenizer.tokenize(), tokenizer.encode() , tokenizer.encode_plus() 方法介绍及其区别
tokenizer.tokenize(), tokenizer.encode() , tokenizer.encode_plus() 方法介绍及其区别原创 2022-11-08 12:55:38 · 7998 阅读 · 1 评论 -
pytorch历史版本下载
1.下载最新版本的pytorch可以到官网根据操作系统,选择cuda版本, 和选择conda命令还是pip命令:https://pytorch.org/如下载最新版本的pytorch命令为pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu1132.下载以前版本的pytorch的gpu版本网址:https://pytorch.org/get-started/原创 2022-04-28 21:04:51 · 10736 阅读 · 0 评论 -
action=‘store_true‘ pycharm运行
1.不带默认值测试代码结论:1.不带默认值的值的和action的属性值结果是相反的环境:在pycharm中运行;action='store_true'相当于是一个开关import argparseparser = argparse.ArgumentParser() # 生成一个设置参数的对象parser.add_argument("--do_train", action='store_true', help="Whether to run training.")parser.add_a原创 2022-04-19 11:43:54 · 3638 阅读 · 3 评论 -
Towards Generative Aspect-Based Sentiment Analysis 复现
论文代码地址:https://github.com/IsakZhang/Generative-ABSA1.安装pytorch假设你已经进入创建好的的虚拟环境中:pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu1132.根据read.md安装对应环境pip install transformers==4.0.0pip install sentencepi原创 2022-04-19 10:39:02 · 2228 阅读 · 8 评论 -
pandas._config.config.OptionError: ‘Pattern matched multiple keys‘
pandas._config.config.OptionError: ‘Pattern matched multiple keys’问题描述:我之前明明能正常运行的代码 但是今天忽然运行不了, 显示错误pandas._config.config.OptionError: 'Pattern matched multiple keys'大概意思说是我这一行有问题pd.set_option('precision', 2) # 2 表示画两个线错误原因:pandas版本太高,由于前几天刚刚升级了p原创 2022-04-15 12:03:46 · 7608 阅读 · 1 评论 -
self.hparams = hparams 报错 基于pytroch-lightning的T5模型微调出先的问题
self.hparams = hparams, 使用基于pytroch-lightning的T5模型微调出先的问题1.运行代码:### 运行的代码class T5FineTuner(pl.LightningModule, nn.Module): def __init__(self, hparams): # 传入的args super(T5FineTuner, self).__init__() self.hparams = hparams ### 报错行原创 2022-04-10 16:38:21 · 3282 阅读 · 10 评论 -
TypeError: optimizer_step() got an unexpected keyword argument ‘on_tpu‘
今天在使用T5模型微调时遇见如下错误出现错误: TypeError: optimizer_step() got an unexpected keyword argument ‘on_tpu’报错原因: 通过收索博客发现问题是因为pytorch_lightning 版本没有更新1.首先查看自己的版本 pip list当前是版本为0.8.1版本, 接下来我们就升级该版本2.输入命令更新到最新版本:pip install --upgrade pytorch_lightning升级成功之后再原创 2022-04-08 11:54:30 · 2552 阅读 · 0 评论 -
main.py: error: the following arguments are required:
报错 “main.py: error: the following arguments are required:”1.首先查看报错信息如图下图所示main.py: error: the following arguments are required: --task, --dataset, --paradigm大致是说我设置的三个参数task, dataset, paradigm有问题找到设置参数的地方, 发现这三个参数都有required=True这个属性parser.add_argumen原创 2022-04-06 15:54:22 · 43460 阅读 · 14 评论 -
T5Tokenizer requires the SentencePiece library but it was not found in your environment.
出现错误: T5Tokenizer requires the SentencePiece library but it was not found in your environment.问题出现是因为我要使用T5Tokenizerfrom transformers import AdamW, T5ForConditionalGeneration, T5Tokenizer出现如下问题:解决方法:第一步:确实用最新的pip 安装, 否则可能会出现错误pip install --upgrade原创 2022-04-06 15:06:13 · 17028 阅读 · 3 评论 -
Anaconda3安装和卸载教程以及pycharm中如何导入Anaconda的环境
Anaconda3安装和卸载教程以及pycharm中如何导入Anaconda的环境第一步: 登陆官网下载Anaconda https://www.anaconda.com/products/individual2.第二步 点击next第三步:第四步:next第五步: 选择好安装路径第一个√是默认配置环境变量第二个当前Anaconda里面的python版本。之后一直点下一步就可以了关于Anaconda的卸载 , 直接进入你刚刚安装的Anaconda目录下面搜原创 2021-09-01 09:15:09 · 699 阅读 · 0 评论 -
Bert代码实现+论文地址+讲解
Bert论文地址及代码实现1,论文地址:Bert论文地址2, 论文讲解:[1]论文讲解1(李沐)[2]论文讲解2(nlp从入门到放弃)3,代码实现Bert代码实现讲解代码如下 没有数据集 只有大体框架/代码可运行import mathimport refrom random import *import numpy as npimport torchimport torch.nn as nnimport torch.optim as optim# sample IsNext原创 2022-02-28 16:56:14 · 2418 阅读 · 1 评论 -
OSError: [Errno 22] Invalid argument: ‘xingchenbian/https://ts1.yuyuangewh.com:9999/20200724/jyawKn4
OSError: [Errno 22] Invalid argument: ‘xingchenbian/https://ts1.yuyuangewh.com:9999/20200724/jyawKn4r/2000kb/hls/eEhpLgJz.ts’ 错误及解决方法1.本人今天在使用open()打开文件方法是发现如下错误:OSError: [Errno 22] Invalid argument: 'xingchenbian/https://ts1.yuyuangewh.com:9999/20200724/原创 2021-10-04 21:37:51 · 486 阅读 · 0 评论 -
TypeError: forward() got an unexpected keyword argument ‘label‘
在调用bert 模型是遇到如下报错信息:Traceback (most recent call last): File "D:/program/PyChramWorkspace/CS224N/fine tune/TestSA.py", line 131, in <module> train_loss, train_acc = train(model, sentiment_train_loader, optimizer, criterion, device) File "D:/p原创 2022-03-25 22:40:53 · 5913 阅读 · 0 评论 -
Transformer代码实现+论文地址+以及讲解
Transformer论文地址及代码实现1,论文地址:transformer论文地址2, 论文讲解:[1]论文讲解1(李沐)[2]论文讲解2(nlp从入门到放弃)3,代码实现代码实现讲解代码如下 没有数据集 只有大体框架可运行# code by Tae Hwan Jung(Jeff Jung) @graykode, Derek Miller @dmmiller612# Reference : https://github.com/jadore801120/attention-is-all-原创 2022-02-20 12:36:16 · 2675 阅读 · 0 评论 -
利用Anaconda安装tensorflow-gpu 2.4.0 + cuda11.1 + cudnn以及安装 pytorch 1.9.0 + cuda11.1
window 安装pytorch和tensorflow框架原创 2021-09-13 21:20:03 · 4751 阅读 · 11 评论 -
Could not load dynamic library ‘cusolver64_10.dll’; dlerror: cusolver64_10.dll not found 错误解决
Could not load dynamic library ‘cusolver64_10.dll’; dlerror: cusolver64_10.dll not found 错误解决1在安装tensorflow时候遇见这个错误 这个时候不用及因为基本上你离最后一步安装成功就只差一步了找到你所安装的cuda下的bin目录 例如我的是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\bin在该目录下搜索文件名 发现 cusolver6原创 2021-09-13 18:20:41 · 2197 阅读 · 2 评论