python
六六六六神
学习ing
展开
-
Ubuntu中pip安装报错‘ProxyError(‘Cannot connect to proxy.‘的解决方法
用pip安装python库的时候报错:出现问题的原因是设置了代理,可以直接在命令行输入以下指令:然后就可以正常pip安装库了。原创 2022-11-08 20:48:47 · 5220 阅读 · 2 评论 -
使用spacy规则化提取自然语言文本信息
1. 安装spacypip install spicyspicy还需要载入文本库,使用pip的下载方式:python3 -m spacy download en_core_web_sm但是很有可能因为网络问题下载速度非常缓慢,所以可以选择到github上去直接下载(注意和自己的spacy版本匹配):github下载链接下载*.tar.gz文件即可。然后切换到下载路径,pip install en_core_web_sm-3.1.0.tar.gz2. spacy的一些基础用法使用spa原创 2022-05-13 18:53:46 · 1299 阅读 · 0 评论 -
json.decoder.JSONDecodeError: Extra data: line 1 column 64431 (char 64430)报错解决方法
问题描述报错: File "/home/zqy/anaconda3/envs/vln_v2/lib/python3.9/json/decoder.py", line 340, in decode raise JSONDecodeError("Extra data", s, end)json.decoder.JSONDecodeError: Extra data: line 1 column 64431 (char 64430用python写入json的时候可能格式有点问题,导致用json原创 2022-05-11 10:33:05 · 4070 阅读 · 0 评论 -
使用nltk.stem.wordnet.WordNetLemmatizer()时报错BadZipFile(“File is not a zip file“)的解决方法
问题描述nltk里有个库可以很方便的还原单词的root形式,调用方法如下:import nltklem = nltk.stem.wordnet.WordNetLemmatizer()name = lem.lemmatize("dogs") # convert the word into root word但是初次调用时可能遇见以下问题:zipfile.BadZipFile: File is not a zip file解决方法安装wordnet可以编写一个python程序,或者直接开原创 2022-05-01 23:44:36 · 1642 阅读 · 0 评论 -
使用与下载huggingface的各种预训练模型的方法
- 引用方法huggingface上开源的预训练模型可不要太多,官网如下:huggingface,可自行搜索想要的模型。使用只需下载好transformers即可:pip install transformers引用模型也很简单,三句话搞定:from transformers import AutoTokenizer, AutoModeltokenizer = AutoTokenizer.from_pretrained("simbert-chinese-base")model = AutoM原创 2022-04-07 14:12:35 · 6685 阅读 · 0 评论 -
解决pytorch中前向传播莫名其妙出现NAN的问题
问题描述使用pytorch对网络模型进行训练的时候,莫名其妙出现了数据NAN的问题,在反复确认读入数据没有问题(已经归一化),且网络模型加载权重也没问题的情况下,发现这种前向传播出现NAN属于薛定谔现象…即有时候会发生,有时候不发生,甚至使用相同的代码连续对同一个操作进行两次计算后结果第一次是NAN,第二次就正常。。解决方法灵感来源:https://discuss.pytorch.org/t/well-formed-input-into-a-simple-linear-layer-output-nan原创 2022-03-30 20:36:18 · 3977 阅读 · 0 评论 -
解决pip install imread时报错:error: command ‘gcc‘ failed with exit status 1的问题
解决pip install imread时报错:error: command ‘gcc’ failed with exit status 1的问题1. 问题描述报这个错的起因是因为调用scipy时报错:from scipy.misc import imread, imresizeImportError: cannot import name 'imread'因此就用pip安装imread:pip install imread出现报错:error: command 'gcc' failed w原创 2022-03-07 20:13:16 · 3248 阅读 · 1 评论 -
【PyTorch】使用DataLoader自定义数据集读取
【PyTorch】使用DataLoader自定义数据集读取为了方便之后使用PyTorch的distributed部署,加速训练,将数据读取的方式改为适配pytorch提供的Dataset和DataLoader的方式。这里记录一下修改的要点:1. 涉及的import库:import torchfrom torch.utils.data import Dataset, DataLoader2. 自定义一个Dataset类:该类继承Dataset;可以定义若干个数据预处理的函数,关键的两个原创 2022-02-25 15:10:21 · 2483 阅读 · 0 评论 -
解决pip安装库时报错:Missing dependencies for SOCKS support的方法
问题描述:使用pip install安装库时,报错:ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support.解决方法:在终端输入:unset all_proxyunset ALL_PROXY原创 2022-01-18 14:24:16 · 8140 阅读 · 2 评论 -
解决vocode debug报错:Configured debug type ‘python‘ is not supported.的方法
用vscode来debug的时候弹出窗口报错:Configured debug type 'python' is not supported查阅参考网站:https://github.com/microsoft/vscode/issues/136712实测解决方法很玄学,如下:删除Vscode Extensions中的Jupyter和Python,然后重装;关闭所有的vscode;(这步很重要。。)再次打开vscode,可以正常debug了。...原创 2021-12-29 21:42:24 · 4159 阅读 · 1 评论 -
python安装bcolz库的正确姿势
bcolz库是用于管理大型dat文件的一个比较有用的库,但是直接用pip安装会报很多依赖上的错,如下:(报错安装的命令:pip3 install bcolz==1.2.1 -i https://pypi.douban.com/simple)解决方法:使用conda安装:conda install -c anaconda bcolz安装好后就可以正常 import bcolz啦~...原创 2021-12-02 13:58:15 · 4229 阅读 · 1 评论 -
使用Python评估文字生成模型的详细步骤
支持BLEU(1~4)、METEOR、ROUGE、CIDEr、SPICE、WMD六种评价指标的计算!1. 代码地址开源地址下载:https://github.com/ruotianluo/coco-captiongit clone https://github.com/ruotianluo/coco-caption.git2. 下载spice需要的支持依赖(1)安装modelbash get_stanford_models.sh自动下载和解压。(2) 安装javaspice的运行需要j原创 2021-11-10 19:04:38 · 3946 阅读 · 13 评论 -
基于pytorch使用wmd实现句子语义匹配算法
1. 安装相关包(1)spacygithub地址:https://github.com/explosion/spaCypip install spacypython -m spacy download en_core_web_sm # 安装模型包python -m spacy download en_core_web_md # 安装模型包(2)wmdgithub地址:https://github.com/src-d/wmd-relaxpip install wmd2. Python D原创 2021-11-08 11:32:22 · 375 阅读 · 1 评论 -
Pytorch用next()的时候抛出StopIteration的错误的解决方法
我在训练vilbert的时候,报错如下: File "/vilbert/vilbert.py", line 1351, in forward dtype=next(self.parameters()).dtypeStopIteration查了一下可能是pytorch版本问题,所以有两种解决方法:解决方法一降级pytorch==1.4.0解决方法二修改代码:extended_attention_mask = extended_attention_mask.to(dtype=next原创 2021-09-13 10:25:53 · 2055 阅读 · 0 评论 -
Ubuntu16.04 修改vscode中的debug的配置
Ubuntu16.04 修改vscode中的debug的配置官方参考文档:官方参考文档1, 官方参考文档2一、修改python的interpreter1. 运行debugCrtl + Shift + D并点击下方的create a launch.json file在上方出现的选择器中,点击Python File,就会打开launch.json文件。2. 修改配置文档在"configurations"加入一行:"python":"/home/w61/annaconda/env/pytorch原创 2021-09-09 20:03:53 · 762 阅读 · 0 评论 -
Ubuntu16.04安装matterport3D simulator的方法
Ubuntu16.04安装matterport3D simulator的方法Matterport3D是一个非常好的3D的RGB-D数据集,可以用在很多相关领域。Vision-and-Language Navigation问题使用的R2R数据集就是依托于matterport3D制作的。本文主要记录一下博主如何使用Ubuntu16.04来安装这个模拟器和数据集的。首先放Matterport3D的github地址:https://github.com/peteanderson80/Matterport3DSi原创 2021-08-22 16:32:30 · 6536 阅读 · 28 评论 -
Windows安装PyQt5+找到designer.exe所在位置
安装python:https://www.python.org/downloads/windows/,常规电脑(一般都是64位了),请选择Download Windows installer。下载好后点击exe文件即可开始安装,记得勾选add PATH选项。安装PyQt5:pip install PyQt5 -i https://pypi.douban.com/simple安装PyQt5-tools:pip install PyQt5-tools -i http://pypi.douban.com/s.原创 2021-03-22 21:23:01 · 5759 阅读 · 2 评论 -
pytorch转为onnx格式,以及加载模型的params和GFLOPs方法
pytorch转为onnx格式:def Torch2Onnx(model,input_size,output_name,istrained=True): ''' :param: model :param: input_size .e.t. (244,244) :param: output_name .e.t. "test_output" :param: if convert a trained model or not. default: True '''原创 2021-03-09 16:49:16 · 2128 阅读 · 5 评论 -
python报错:Could not load the Qt platform plugin “xcb“ in “./plugins/platforms“的解决方法
问题描述利用matplotlib库画图的时候,报如下错误:qt.qpa.plugin: Could not load the Qt platform plugin “xcb” in “./plugins/platforms” even though it was found.This application failed to start because no Qt platform plugin could be initialized. Reinstalling the applicati..原创 2020-09-27 16:11:41 · 5554 阅读 · 14 评论 -
【自用】PyTorch实现神经网络模型的代码(小技巧
以自己写的vgg模型为例:import torchimport torch.nn as nnimport numpy as npimport collectionsdef conv(in_channels, out_channels, kernel_size, stride=1, padding=0, bn=0, relu=1, pooling=0): modules = [nn.Conv2d(in_channels,out_channels,kernel_size,stride=str原创 2020-09-01 09:43:30 · 537 阅读 · 0 评论 -
Ubuntu编译OpenPose的一些坑(附可能涉及的码云地址)
首先感谢码云gitee,比直接从github上下载快了很多很多很多。。OpenPose详细步骤参见:https://blog.csdn.net/qq_35468937/article/details/81514198一些可能需要的git地址(码云):(1)openpose:https://gitee.com/syzhen123/openpose.git(2)pybind11:https://gitee.com/yao_yu/pybind11.git (3)caffe:https://gitee.原创 2020-08-31 12:41:50 · 693 阅读 · 0 评论 -
pytorch重载optimizer参数时报错:RuntimeError: expected device cpu but got device cuda:0的解决方法
1. 问题描述: 我在使用torch.save()保存了optimizer的参数过后,torch.save( { 'state_dict':net.state_dict(), 'optimizer':optimizer.state_dict(), 'epochID':epo...原创 2020-04-22 10:23:57 · 5899 阅读 · 12 评论 -
调用cocoeval时报TypeError的解决方法
问题描述:我在调用cocoeval计算map时,发生报错:TypeError: object of type <class ‘numpy.float64’> cannot be safely interpreted as an integer经查,错误主要发生在pycocotools/cocoeval.py下面这一行代码:self.iouThrs = np.linspace(.5...原创 2020-03-16 17:28:20 · 1499 阅读 · 1 评论 -
PyTorch训练与测试模型分别在GPU和CPU上的灵活转换
由于抢不到实验室的gpu资源,决定把毕设需要的训练部署在远程cpu服务器上(gpu服务器太贵搞不起),为了测试模型在gpu和cpu之间来回转换时是否会影响模型的性能,特别做了以下实验。- 首先明确测试的四种情况:Device_TrainDevice_TestGPUGPUGPUCPUCPUGPUCPUCPU把数据部署在GPU/CPU上:(...原创 2020-03-13 13:30:40 · 4495 阅读 · 1 评论 -
基于Pytorch和tensorboard实现深度神经网络训练及可视化的例子
最近在学习pytorch实现深度神经网络的教程,强推deeplizard的系列教程,有能力的可以自己去搜索一下原地址,虽然是全英文教程但以我托福听力18分的水平(哭了)也全程听完了,另外在优兔上面还可以按快捷键C开启自动字幕,不过这个自动字幕吧感觉开了还不如不开emmm,总之强烈推荐,真的讲的特别好!B站链接:https://www.bilibili.com/video/av78848066以...原创 2020-03-10 15:59:39 · 619 阅读 · 0 评论 -
Ubuntu用pip时出现ERROR: Could not install packages due to an EnvironmentError: [Errno 28] 设备上没有空间的解决方法
问题描述:在终端使用df -h查看各分区的使用情况,发现我在安装Ubuntu分的根目录只有20G,已经用了89%了,似乎系统会默认保留10%的大小,而pip install的安装方式是会把文件先下到tmp文件夹里,所以显示设备没有空间的问题。解决方法:使用gparted来给Ubuntu根目录空间大小扩容因为怕扩容出现问题,准备答辩结束了再操作,免得把双系统搞死了。。暂时修改tmp...原创 2019-12-22 17:44:18 · 8599 阅读 · 9 评论 -
【机器学习】西瓜书_周志华,习题9.4,编程实现k均值算法+绘图(python)
【机器学习】西瓜书_周志华,习题9.4,编程实现k均值算法1. 核心算法:k均值算法作为原型聚类算法的一种,其主要目标最小化平方误差,通过不断迭代更新均值向量,从而得到新的簇分类。(使簇内距离最小)具体算法如上图所示。2. 具体实现:# -*- coding: utf-8 -*-#author: w61import randomimport mathimport matplo...原创 2019-11-29 15:06:30 · 2489 阅读 · 0 评论 -
Ubuntu16.04:完美解决如何用python3.6运行ros的问题
问题描述: ros里的许多包只支持python2.7,所以下载ros时自带的python版本也是2.7的。但是,尴尬的是,当我们想用pyqt5编辑gui界面时,pyqt5只支持python3。网上建议的在python2中用pip install python-qt5的指令我也试过了,实测会报错,并下载不了。 这里采取的方法是先在程序中import进python2.7才有的ros库(如ros...原创 2019-11-27 21:43:17 · 3149 阅读 · 1 评论 -
Windows下更新pip后提示:ImportError: No module named 'pip'的解决办法
Windows下更新pip后提示:ImportError: No module named 'pip’的解决办法1.问题描述Windows环境中,执行pip install --upgrade pip后,再执行pip就提示:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DXU8gYb7-1572434706588)(C:\Users\wlyvi\AppData...原创 2019-10-30 19:25:41 · 5872 阅读 · 0 评论 -
【机器学习】西瓜书_周志华,python实现基于信息熵进行划分选择的决策树算法
python:实现基于信息熵进行划分选择的决策树算法本文主要介绍本人用python基于信息熵进行划分选择的决策树代码实现,参考教材为西瓜书第四章——决策树。ps.本文只涉及决策树连续和离散两种情况,未考虑缺失值和剪枝。首先摘取一些书上比较关键的理论知识:1.决策树学习基本算法显然,决策树是一种递归算法,递归最重要的一点是return条件的设置,这里主要有三种情况会产生return:当...原创 2019-10-08 11:27:51 · 5082 阅读 · 4 评论 -
使用cython时报错error:Unable to find vcvarsall.bat的解决办法
使用cython时报错error:Unable to find vcvarsall.bat的解决办法要求将python打包为dll,在c程序中调用。在用cython尝试打包时,遇到以下问题:解决方法:在setup.py开头加:import setuptools注意:要加在最开头,否则还可能报错(如下)顺利解决问题。...原创 2019-07-25 15:14:37 · 1161 阅读 · 7 评论