- 博客(28)
- 收藏
- 关注
RSS订阅原创 colab挂载和库多次安装问题
上面这段代码可以将这段代码的作用是将Google Drive中的Colab Notebooks目录链接到Colab的notebooks目录中，并将该目录添加到Python的sys.path中，以便在Colab中导入自定义的Python模块或脚本。这样可以方便地在Colab中访问Google Drive中的文件和数据。这段代码将google云端挂载到colab服务器，并且将目录改到自己的xx目录下，从而可以导入xx目录下的.py文件。从而不用每次启动重新pip install。
2024-04-26 20:07:28
177
转载 关系抽取公开数据集下载
人物关系抽取数据集是CCKS2019中的一个层级关系分类任务，包括三大类(亲属关系、社交关系、师生关系)，四中类(配偶、血亲、姻亲、友谊）、35小类(现夫、前妻)种关系类型。Chinese Literature Text是面向中文文学的一个实体关系数据集，标注了物体、人名、地名、时间名、容量名、组织和摘要共7类实体，位于、部分、家庭、概括、社会、拥有、使用、制造、邻接等9类实体关系。关系类型涉及科学、艺术、时间、个人生活在内的96种Wikidata关系类型。训练集695篇，验证集58篇、测试集84篇。
2023-05-08 11:35:15
1387
原创 python如何把excel文件转化为json文件
在这里是要把excel中的每一行转化为字典，并且将字典作为元素放入到列表中，然后再将列表中的元素逐个放入到json文件中（通过dump），在json中每存放一个字典元素，就会增加一个空格。这样使用indent保证不同元素之间会换行，并且会把整个列表写入到json文件中，保留“[]”以及元素之间的逗号。如果想要使得json文件一行代表一个元素，并且没有额外的内容，就是用dump，如果想整体写入，久荣dumps。但是如果要将整体放入到json文件，就是用dumps。
2023-05-05 16:28:58
1939
1
原创 如何将linux服务器上的文件下载到windows本地
将ssh服务器上 [email protected]的download下载到当前打开终端的位置处。（这样比直接在vscode上下载快得多，vscode有速度限制）3.输入服务器密码 （输入时不会显示，输入完回车即可）1.在windows要下载文件的位置右键打开终端。
2023-05-04 13:38:24
5705
2
原创 vscode如何连接ssh服务器
连接之后，比如进的[email protected]，就在File – open file打开deepo，在deepo中创建自己的文件，比如我创建cs，然后就可以在cs这个文件中创建，上传文件了。.就可以进行连接了，之后出来一个窗口选择linux平台（服务器一般是linux），然后窗口需要点击continue，最后出来窗口输入密码，即可连接。2.如果之前连了一个地址服务器，但是现在要更改端口号，那么就在remote中的config文件改变端口号，然后重新连接即可。这个环境也可以自己安装。
2023-04-23 15:15:54
653
原创 ouldn‘t check the working tree for unmerged files because of an error. detected dubious ownership in
IDEA中git clone过程中存在的问题couldn't check the working tree for unmerged files because of an error. detected dubious ownership in repository at 'C:/Java/IdeaProjects/bsirip-ir00' To add an except..
2023-01-30 12:30:49
5688
原创 vscode如何链接github
点击Changes里面，vscode中更改了的文件右侧的“+”，将其放入Staged Changes中，然后点击Commit即可上传到github repository中。上面的配置无论是本地主机还是vscode，步骤都是一样的，不过vscode是在终端中输入上面的指令。最后输入要连接的github repository ，当然要提前创建好，输入如下指令。然后就可以在vscode中将代码上传到github的repository中了。输入上面的指令报这个是warning应该是正常的，我也能正常连接。
2022-09-11 15:54:09
14928
2
原创 pytorch loss.backward问题：RuntimeError: element 0 of tensors does not require grad and does not have a
最近遇到了一个问题，在pytorch定义模型训练过程中 ，反向传播时loss.backward()在上面这个未知报错RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn该问题说明loss的梯度被关闭了，即loss的require_grad(False)反观我的模型，我定义的模型套了两个模型，如：class mymodel(nn.Module): def __init_
2022-05-18 12:03:02
6483
原创 pytorch分类任务训练的一些问题
1.将训练函数的精度计算挪到1个epoch之后，这样就可以计算得到正常的训练集精度和测试集精度2.将模型输出的softmax去掉，因为交叉熵函数会自己计算softmax值，如果不去掉，相当于计算两次softmax，导致模型不收敛3.对于类别较多并且每个类别数据较少的数据集，增大batch_size，增加模型的复杂程度，多加线性层等，能够提高分类效果。还可以做数据增强...
2022-04-22 22:57:38
1512
原创 如何解决 类似 nltk安装Wordnet出错[nltk_data] Error loading wordnet: ＜urlopen error [Errno 111] 问题
参考：https://blog.csdn.net/liu16659/article/details/109691534最近想做一个NLP的数据增强，于是找到了EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks代码地址https://github.com/jasonwei20/eda_nlp但是，需要nltk库，我直接pip install -U nltk然后按
2022-04-21 10:44:58
3029
原创 为何pytorch nn.KLDivLoss()损失计算为负数？
参考文献：https://www.zhihu.com/question/384982085先来看一下KL散度的定义这里是要用分布Q为标签（原始分布），分布P作为预测值（预测分布）在pytorch中，nn.KLDivLoss()的计算公式如下：上图y为标签，x为预测值，则pytorch应该以如下代码使用lossfunc = nn.KLDivLoss()loss = lossfunc(预测值, 标签值)但是，由于计算公式中，预测值x的输入要是对数形式，而标签值y则不需要，所以如果我们要对预
2022-04-19 16:55:23
5406
转载 tar.gz文件解压
参考文章：https://www.cnblogs.com/xiao987334176/p/10227480.htmldef untar(fname, dirs): """ 解压tar.gz文件 :param fname: 压缩文件名 :param dirs: 解压后的存放路径 :return: bool """ try: t = tarfile.open(fname) t.extractall(path = dirs)
2022-04-06 16:25:17
497
原创 paddlepaddle和paddleDetection安装问题
本人的环境：ssh连接的服务器下+linux系统+conda环境下安装的python*注意：由于每个人的配置不一样，所以我提供的方法仅供参考如果不能解决，建议去 https://github.com/PaddlePaddle/Paddle/issues，或者去google查找解决方案1.import paddle出现batch = batch.batch行出现问题 name ‘batch’ is not defined解决方法：如果是安装旧版的paddlepaddle，可以尝试安装最新版本padd
2022-03-31 14:42:56
6276
转载 ImportError: IProgress not found. Please update jupyter and ipywidgets.解决方案
原文：https://www.cnblogs.com/marsggbo/p/15560385.html首先在对应的环境中安装依赖库：pip install ipywidgets widgetsnbextension pandas-profiling再启动Jupyter相应的插件jupyter nbextension enable --py widgetsnbextension重新再jupyter中运行库那一栏，成功解决...
2022-03-20 17:28:49
470
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人