问题
文章平均质量分 51
y4ung
这个作者很懒,什么都没留下…
展开
-
pytorch加载模型时报错:RuntimeError: Cuda error: out of memory
在加载训练好的模型进行测试时,遇到了RuntimeError: Cuda error: out of memory。觉得很诧异,明明模型也不是很大,怎么就爆显存了。后面去pytorch 论坛上找到了答案,原来是加载模型的时候需要先通过torch.load()的map_location参数加载到cpu上,然后才放到gpu上。def load_model(model, model_save_path, use_state_dict=True): print(f"[i] load model fro原创 2021-12-31 07:40:11 · 2937 阅读 · 1 评论 -
Pycharm调试卡在“Collecting data...”
今天在远程调试的时候又遇到一个玄学的bug,Pycharm一直卡在“Collecting data…”,等我蹲完坑摸鱼回来了它还在collect…刚好在Stack Overflow上也有人遇到这个问题:Debugger times out at “Collecting data…”解决方案就是将Python Debugger中的Gevent compatible勾选上。...原创 2021-09-06 16:08:36 · 2127 阅读 · 5 评论 -
git push报错:remote: Support for password authentication was removed on August 13, 2021.
今天在推送代码到github上的时候报错了:原因是因为github不支持密码验证的方案了,用personal access token代替。解决方案在Github上生成tokenSettings -> Developer Settings -> Personal Access Token -> Generate New Token -> 根据需求勾选 -> 点击 Generate token -> 复制生成的token将本地的凭证改为Personal Acce原创 2021-08-15 20:01:40 · 771 阅读 · 0 评论 -
pycharm远程调试的“bug”:/miniconda3/envs/learn/bin/python: can‘t open file ‘//<a2a1d7b1c-6145-4e45-...
因为环境在实验室服务器上配好了,在本地再配一遍有点烦。就想到了用pycharm远程连接服务器进行调试的方法。总的配置可以分成两部分:第一部分是配置sftp,用于同步。第二部分是配置python interpreter,使用远程服务器上的python解释器。具体的可以参考下面的一些博客文章。大家写的大差不差。最新版的pycharm和他们的截图上可能有点出入,但是只要仔细找一下就行。pycharm2018.3实现远程开发与调试(图文详解)手把手教你Pycharm远程连接服务器端项目进行本地开原创 2021-07-03 12:42:31 · 4003 阅读 · 5 评论 -
pip报错:文件urllib3-1.26.4.dist-info\\METADATA不存在
今天在装一个python库的时候发现每次都报错:ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory: 'd:\\programdata\\anaconda3\\envs\\nlp\\lib\\site-packages\\urllib3-1.26.4.dist-info\\METADATA'大概意思就是说 urllib3-1.26.4.dist-info 目录下的METADAT原创 2021-06-20 19:45:56 · 4324 阅读 · 1 评论 -
pytorch报错:Too many open files
程序运行到一半报了Too many open files的错:... ...File "/home/miniconda3/envs/gpu/lib/python3.9/multiprocessing/resource_sharer.py", line 48, in __init__OSError: [Errno 24] Too many open files参考github上的issueIt is expected because the default file_descriptor sh原创 2021-05-22 09:51:50 · 2845 阅读 · 3 评论 -
报错解决:one of the variables needed for gradient computation has been modified by an inplace operation
写完了训练的代码,运行了以后发现了这么一个错:RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [544, 768]], which is output 0 of ViewBackward, is at version 1; expected version 0 instead. Hint: en原创 2021-05-12 09:41:03 · 53444 阅读 · 6 评论 -
重新安装nvidia驱动、Cuda以及Cudann,解决报错:Unable to determine the device handle for GPU 0000:09:00.0
实验室服务器的CUDA_HOME莫名其妙的没了,执行命令nvidia-smi的时候报错:Unable to determine the device handle for GPU 0000:09:00.0: Unknown Error在尝试了万能的重启之后,终于。。。还是没解决哎,毕业的道路上重重险阻o(╥﹏╥)o不过最后在abinge和师兄的帮助下解决了。abinge yyds1. nvidia驱动到网站 https://www.nvidia.cn/Download/index.aspx原创 2021-05-11 09:04:39 · 12568 阅读 · 2 评论 -
GPU高显存占用、低使用率的原因分析过程
今天在训练模型的时候,发现GPU的显存都快满了,但是GPU的利用率很低,基本是隔几秒才会到100%,然后马上恢复为0。如下图所示。训完一个epoch要一天左右,心态都给我整崩了在网上找到了一些不错的资料:训练效率低?GPU利用率上不去?快来看看别人家的tricks吧~深度学习PyTorch,TensorFlow中GPU利用率较低,CPU利用率很低,且模型训练速度很慢的问题总结与分析GPU: high memory usage, low GPU volatile-util猜测在train函数原创 2021-04-26 19:08:31 · 13968 阅读 · 5 评论 -
pycharm调试时高亮的行与实际运行的行不一致
1. 问题话说今天在debug的时候遇到了个玄学bug…怎么个玄学法?我写了一个if-else,但是调试的时候发现,两个基本块都进去执行了:发现执行到后面的行的时候,这里的变量才有变化。那就说明当前高亮的行起始和实际运行的行不一致。跟同学交流了一下,阿宾哥说是因为调试的过程中修改了代码的缘故。hangg说需要清除缓存,但是我试了一下没用。(如下两图)本来我写的bug就多,现在调试功能还出问题了,让不让我活了…(╯‵□′)╯︵┻━┻2. 解决于是在谷歌搜了一下 “pycharm deb原创 2021-04-05 15:57:51 · 2919 阅读 · 1 评论 -
被报错信息“欺骗”了:torch.matmul RuntimeError: expected scalar type Long but found Float
是这样的,我被报错信息“欺骗”了!当我的代码运行到 torch.matmul(a, b) 时,报了个这样的错:RuntimeError: expected scalar type Long but found Float这个报错的意思是说,希望的数据类型是Long,但是有参数的数据类型是Float.于是我debug了,发现是Float的那个参数(里面有很多小数),如果强行变成Long的话,整个几乎都变成0矩阵了。在Stack Overflow上类似问题的回答中,看到这样的回答:This is not原创 2021-03-24 20:20:36 · 1686 阅读 · 4 评论 -
Jupyter Lab报错:ImportError: DLL load failed while importing win32api: 找不到指定的模块
前言昨天把conda的环境搞崩了,重新开了一个。在运行jupyter lab的时候,报错:...import win32apiImportError: DLL load failed while importing win32api: 找不到指定的模块。解决一开始我用pip重新安装,发现没有用。o(╥﹏╥)o最后,看了网友提供的方法解决了:首先,找到文件pywin32_postinstall.py,路径在[Path to Anaconda3]\Scripts\然后执行:python [P原创 2021-01-11 09:29:19 · 3187 阅读 · 12 评论 -
git push/clone 失败解决
前言这两天发现自己的电脑不管是git push还是git clone都失败了。git push:git clone不管是用https还是ssh,也都失败了:解决参考从Github 使用ssh clone 项目时出现问题,这里提到可能的问题是因为被q了。因此,我们可以为git bash设置代理。即使你设置代理为全局代理,git bash也是不走代理的…我在这里设置的是https的代理:# 打开 git bash,然后输入git config --global http.proxy "h原创 2020-10-28 17:06:54 · 369 阅读 · 0 评论 -
java.util.ConcurrentModificationException 异常原因和解决方法
前言二十多天的实训结束了,虽然环境emmmm有点坑,好多人都感冒了,我也没能逃过一劫. 不过总体来说还行, 第一次尝试跟学校里不一样的,7个人一起做项目. 不过也因此对于github的使用不再局限于之前的将其作为云服务备份来使用了,更多的还是大家上传代码,合并冲突之类的,还有也学会了git stash的一些个基础用法,嘻嘻. 这个月还没写点东西记录一下. 这里就记录一下之前遇到过的一个,算...原创 2018-03-29 23:56:29 · 233687 阅读 · 64 评论 -
Spring boot使用Thymeleaf模板的时候标签未关闭报错解决
问题在spring boot 中,推荐使用thymeleaf来做前端模版引擎,但是会报标签未关闭:org.thymeleaf.exceptions.TemplateInputException: Exception parsing document: template="login"比如: 必须改成; 如果一个一个改的话又很麻烦。。。ヽ(#`Д´)ノ解决1.在p原创 2018-01-17 17:32:16 · 5548 阅读 · 0 评论 -
Spring @Autowired注解在非Controller中注入为null
前言好久没写博客了,不知不觉大学已经过去两年了。 时光快似箭,光阴似如梭, 小学时的打油诗, 逃:) 话说回来,今天在写一个工具类,里面用了@Autowired注入了TokenRepository以及TokenService时,在TokenRepository的findFirstById()方法一直报 java.lang.nullpointerexception 异常,一开始以为是传进去的id有原创 2017-11-03 00:04:04 · 56308 阅读 · 45 评论 -
javamail 使用网易163邮箱发送邮件报错:554 DT:SPM
写在前面想必大家在用javamail使用网易邮箱发送邮件时会遇到这样一个蛋疼的错误:554 DT:SPM网上找了、也试了很多种方法。这里贴一个亲测有效的方法。解决方法方法: 在发送给收信人之前给自己抄送一份方法实现: // 设置属性private Properties p; // p是属性集合类,用来设置邮件的一些属性比如timeout等p.put("userName","xxx@163.com原创 2017-08-17 19:52:49 · 38750 阅读 · 14 评论 -
Echarts图表中的tooltip无法显示
实验环境Echarts 3.5.3问题引入一个Echarts标准饼图以后,图表可以正常显示,而tooltip无法显示,┑( ̄Д  ̄)┍ 一下子感觉low了好多,页面就像死掉了一样就像这样,鼠标放在上面却没显示tooltip。。。上代码:<div class="col-lg-6"> <div class="content-panel">原创 2017-04-15 09:26:04 · 42390 阅读 · 22 评论 -
Linux下"undefined reference to ‘pthread_create’"问题解决
实验环境Centos 7.0, gcc 4.8.5问题在运行一个多线程的c文件时候报了错: #include <stdio.h>#include <stdlib.h>#include <pthread.h>#include <semaphore.h>pthread_mutex_t mutex=PTHREAD_MUTEX_INITIALIZER;pthread_cond_t cond=PTHR原创 2017-04-15 09:11:14 · 13399 阅读 · 7 评论 -
centos7.3 打开端口失败
实验环境:微软Azure上的云服务器Centos7.3实验目的:开启端口问题: 输入 firewall-cmd –add-port=9300/tcp 返回的结果不是success而是 FirewallD is not running解决:一脸懵逼,然后试了一下在后面加了个参数 –permanent (–permanent永久生效,没有此参数重启后失效) 就可以了原因还不知道。。。求解原创 2017-03-18 22:07:14 · 5476 阅读 · 0 评论 -
客户端连接不上Azure和腾讯云服务器里跑的代码
环境:Azure: CentOS 7.3 腾讯云: CentOs 7.0问题:写了段用Socket进行网络通信的代码,然后把服务端代码放到云服务器上,发现本地客户端连接不上,即使我已经在centos里开了端口解决:需要在Azure或腾讯云里手动开放端口(看上一篇)我就不上图了。 Azure: 虚拟机 -> 实例 ->进入虚拟机 -> 终结点 腾讯云:安全组原因:暂不知道。。。求教原创 2017-03-18 23:50:04 · 4509 阅读 · 0 评论 -
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
实验环境:jdk 1.8, mysql 5.7, eclipse问题:连接mysql数据库时出现 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver解决:导入mysql-connector-java-5.1.41-bin.jar 现在当前项目工程右键,新建一个folder命名为lib,然后将mysql-connector-java-5原创 2017-03-19 18:43:38 · 4601 阅读 · 0 评论 -
主机与客户机桥接时,主机SSH连不上客户机
这几天操作系统的实验搞得我一个头2**n个大。 学校机子用的是Red Hat 9,我大一时装的是Centos 7. 我电脑硬盘又快满了。没办法,一条道走到黑吧。实验环境:Centos 7, VMware, Windows 8.1实验内容:主机与客户机桥接,主机用SSH连上客户机,并传输文件问题:主机SSH连不上客户机 可能的原因及解决方案:这里仅限于我试过的。 1. 在配置network相关文件原创 2017-03-10 00:09:10 · 6230 阅读 · 0 评论 -
java爬虫crawler4j:SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
问题:运行爬虫项目后出现: SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder”. SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBi原创 2017-03-22 17:16:43 · 4388 阅读 · 0 评论 -
西部数据移动硬盘识别不了
问题:去年买的西部数据移动硬盘,最近插在电脑里发现总是没显示出来,而且也一直找不到驱动: 这个很可爱的图标会一直一闪一闪,显示在搜索驱动。 但是别人的电脑里就能即插即用。解决:将驱动卸载了重装就行。方法:我的电脑 –> 右键 –> 属性 –> 设备管理器 –>找到 其他设备 –> 点开,里面的驱动应该是有感叹号的 –> 卸载 –> 拔掉移动硬盘,重新插上 –> 然后解决了。 (╥╯^原创 2017-04-08 15:25:51 · 40274 阅读 · 3 评论 -
Java socket 网络编程:BufferedReader readline 阻塞
问题:在我服务端返回数据给安卓的客户端时,发现在readline()这个方法的时候一直阻塞,读不出数据解决:在传输的字符串末尾加上“\n”原因: 读取一个文本行。通过下列字符之一即可认为某行已终止:换行 (‘\n’)、回车 (‘\r’) 或回车后直接跟着换行。 也就是说读取一行知道碰到换行符,或回车符,则认为此行已近读完了,接着返回–图片来自博客文章: 关于BufferedReader rea原创 2017-03-30 22:20:12 · 5593 阅读 · 0 评论 -
PostgreSQL9 initdb: 命令行参数太多 (第一个是 "(x86)/pgsql9/data")
嘛,数据库老师要求的是postgresql9,我之前看的是MySQL5.7,还是有差别的。。。 用的好不习惯呀问题:初始化数据库时:initdb --locale=C -E utf-8 -D D://Program Files (x86)/pgsql9/data报错: initdb: 命令行参数太多 (第一个是 “(x86)/pgsql9/data”)解决:直接cd到你要初始化放置data的目原创 2017-03-13 16:51:57 · 10192 阅读 · 0 评论 -
JUnit4单元测试报错问题 :method initializationerror not found
问题:今天用JUnit4对JSoup进行函数的测试的时候发现run不起来 蛋疼的一逼、、、 原因及解决:然后上网找了一下发现是缺少了jar包, 还要引入两个依赖的hamcrest-core-1.3.rc2.jar,hamcrest-library-1.3.rc2.jar; junit和hamcrest是两个不同的框架,而junit使用了hamcrest框架而已,因此还要导入那两个hamcres原创 2017-03-24 20:56:16 · 8256 阅读 · 3 评论 -
postgresql: pg_ctl -D data start 出现 postgres aaaaaaaaaaaaaaaaaaaaaaaaa "C:/Users/huang zhen yang/dat
问题:在不登记服务启动postgresql数据库的时候:pg_ctl -D data start出现了: postgres aaaaaaaaaaaaaaaaaaaaaaaaa “C:/Users/huang zhen yang/data/postgresql.conf”: No such file or directory原因:是因为data这个数据库文件夹不在你当前的路径下。解决必须切换到d原创 2017-03-16 12:17:39 · 4765 阅读 · 0 评论 -
postgresql: psql:FATAL role"艾德米" does not exit
问题:psql postgres进入postgreSQL客户端工具时报错:psql:FATAL role”艾德米” does not exit 原因:用户名中文的问题啊- -解决:增加一个普通用户,如postgres,以该用户的身份进入命令窗口执行initdb命令。原创 2017-03-16 12:22:06 · 4699 阅读 · 0 评论 -
junit 单元测试 @Test报错:@Test is not an annotation type
问题:在用junit对爬虫的一个解析函数进行单元测试的时候,测试不了,报了错误: @Test is not an annotation type(那天晚上网不好- -补一张图)解决:结果发现是我在做爬虫测试的时候愚蠢的命名一个测试类为Test.java….. 也就是因为这个Test类导致了冲突,只要把这个类名改成其他的就好了~原创 2017-04-01 00:15:05 · 9045 阅读 · 0 评论 -
MySQL设置主键外键时错误:ERROR 1064 (42000)
环境:MySQL 5.7问题:之前为这个终生图书馆小项目设计了几张表User,HaveRead,SignIn,Book,BookLabel,BookPlan,结果昨晚发现如果User表用户变化(比如删除用户等等),SignIn和HaveRead不能及时变化还得自己写代码做一个验证逻辑有点麻烦。何干事跟我提到说可以设置主键外键来解决这个问题;在重新创建这些表以及构建外键关系的时候,MySQL报了这样一原创 2017-03-26 11:32:07 · 9784 阅读 · 7 评论 -
java从MySQL表中取出数据时报错:java.sql.SQLException: Before start of result set
环境:java 1.8, MySQL 5.7问题:for(String each:book.getLabel()){ ps = cn.prepareStatement("SELECT labelid FROM booklabel WHERE label=?"); ps.setString(1, each);原创 2017-03-26 11:36:48 · 4927 阅读 · 0 评论 -
Java 创建文件输出流的时候报错
问题:在项目中我们用Apache的Mahout进行协同过滤的推荐,需要打开一个csv文件并将数据库里的用户数据存入其中,从而进行书籍推荐。但是在创建文件输出流的时候却捕获到了一个异常- -·package MicrosoftImageCup;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.Fil原创 2017-04-02 15:34:24 · 6307 阅读 · 0 评论 -
Java 在传输JSON数据时,数据被最后所赋值的内容覆盖
在用java传输json数据时,map类型的变量里的数据会被最后一次赋值的内容所覆盖:package MicrosoftImageCup;import java.io.PrintWriter;import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sq原创 2017-04-02 15:07:45 · 7815 阅读 · 2 评论 -
postgresql: C:: Permission denied
问题:在postgresql中引入文件时报错: 原因及解决:文件路径用正斜杠即可。。。 蛋疼的windows…原创 2017-03-16 12:24:17 · 6600 阅读 · 5 评论 -
MySQL ERROR 1064 (42000)
问题:今天在学MySQL的时候遇到了ERROR 1064 (42000)的错误。 数据库里的数据格式:mysql> DESCRIBE pet; Field Type Null Key Default Extra name varchar(20) YES NULL owner varchar(20) YES NULL原创 2017-03-04 20:44:48 · 5812 阅读 · 0 评论