- 博客(143)
- 资源 (8)
- 收藏
- 关注
原创 win10下安装YOLOX
win10下安装YOLOX搞了我一周时间,都是各种版本不匹配导致的,最后发现下面这个链接里的版本是可用的:Windows10 yolox 安装_꧁༺ʚvv༒catɞ༻꧂的博客-CSDN博客_win10安装yoloxWindows:10 Anaconda:2.0.4 Python 3.7.10 nvcc显示的版本是cuda 11.3 nvidia-smi显示的cuda版本是11.5(驱动的cuda版本高于实际cuda版本就行) cudnn: cudnn-11.3-windows-x64.
2021-12-26 23:35:15
1237
2
原创 cuda11.5下print(torch.cuda.is_available())结果是False问题
安装了最新版的cuda11.5+cudnn8.3.0后print(torch.cuda.is_available())结果却是False,查了一下原来安装的是CPU版pytorch,而不是GPU版。费了一大番周折后发现原来我的源里都找不到cuda11.5+cudnn8.3.0版的pytorch,所以自动给我装了CPU版。从清华源里找到了pytorch-1.10.1-py3.8_cuda11.3_cudnn8_0.tar.bz2,所以就照这个下载吧,安装了cuda11.3后又发现找不到cuda11.3对应
2021-12-25 01:21:40
1552
原创 CUDA安装踩的坑
GTX950M显卡比较老了,硬盘坏了重装系统后CUDA也要重装,结果试了无数次从CUDA11.5到11.4到10.2,每次都报“NVIDIA安装程序失败”,好多项目都是未安装的状态。最后试到9.2终于可以啦!!!网上搜到都说是在桌面上右键->NVIDIA控制面板->帮助->组件里看CUDA版本,我的显示是CUDA11.4结果11.4也装不上,看来这个方法真是坑人。就是说GTX950M显卡只能支持CUDA9.2以下!!!...
2021-12-14 23:18:59
2196
原创 新学的C语言,自己写了个文件夹自动同步的程序。
/*Created By Richard Shao 2021.09.09Synchronize source folder to dest folder.Only for windows.argv [1] : source directory [2] : dest directory [3] : log directory -> log file name: time stamp*/#include <stdio.h>#include "stdlib.h" .
2021-10-15 08:36:04
635
原创 2020-11-01
谷歌chrome浏览器打不开网页,而IE/360没有任何问题,查了很多资料,大部分都是误导的。分享一下我的解决方案。1. 正常安装chrome2. 安装完成后在桌面快捷方式上点击右键,选择“属性”,点击“快捷方式”栏,在目标框中chrome.exe路径后面加上 --no-sandbox即可。...
2020-11-01 18:49:04
251
原创 coco的json label转换为VOC的xml格式
import osimport jsonimport cv2from lxml import etreeimport xml.etree.cElementTree as ETimport timeimport pandas as pdfrom tqdm import tqdmanno = "annotations_without_background.json"xml_d...
2020-01-24 07:55:34
1995
4
原创 mmdetection训练报错
mmdetection训练报错。先说结论吧,coco格式的annotations.json中categories的category_id不能有0(即背景类)。查了好几个小时,都快要疯了,才搞出这个结论。给大家趟个坑。完整报错内容如下 :2020-01-04 12:18:44,206 - INFO - Distributed training: False2020-01-04...
2020-01-04 21:08:32
11314
15
原创 pandas读取json文件报错
昨天还运行的好好的代码,今天就报错。代码如下:importpandasaspdimportjsonresult ='result.json'df=pd.read_json(result)print(df.category.value_counts())先是报了个ValueError: Expected object or value百度了很...
2020-01-04 07:49:07
3726
原创 docker启动
docker images启动docker并开启一个命令终端:sudo docker run -it mmdetection:v1.3 /bin/bash
2019-09-18 01:34:25
150
原创 ubuntu16.04下docker和nvidia-docker安装
1、sudo apt-get remove docker docker-engine docker.io ###清楚系统原有docker 如果提示找不到就不用理会2、sudo apt-get update ###更新apt-get源3、sudo apt-get install apt-transport-https ca-certificates curl software-propertie...
2019-09-18 00:21:25
355
原创 python 读取excel的所有工作表并保存为csv
因为excel2013打开文件时经常出现“正在联系......”大约需要半小时左右才能打开,所以就想不用excel打开,直接用python把excel转换为csv后再打开。网上搜了一下,大部分解决方案是用pandas,代码非常简洁:import pandas as pddata = pd.read_excel('1.xlsx',sheet_name=0,index_col=0)data...
2019-07-16 16:05:08
4927
1
原创 ubuntu16.04安装P106-100显卡驱动
使用ubuntu 直接sudo ubuntu-drivers autoinstall安装驱动即可!!!!!richard@richard:~$ sudo ubuntu-drivers autoinstall[sudo] password for richard:Reading package lists... DoneBuilding dependency tree...
2019-05-28 23:33:00
6371
1
原创 FasterRCNN训练自己的数据前20次iter正常,后面突然出现Unknown: Exception
环境:win7+python3.5.2(anaconda4.2.9)+FasterRCNN-tensorflow1.12源码:https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3.5问题:FasterRCNN训练自己的数据前40个iter正常后面突然出现Unknown: Exception,log如下:iter: 10 / 4...
2019-05-12 23:41:53
1387
3
原创 FasterRCNN训练自己的数据前40个iter正常,后面突然出现rpn_loss_cls: nan rpn_loss_box: nan
环境:win7+python3.5+FasterRCNN-tensorflow源码:https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3.5问题:FasterRCNN训练自己的数据前40个iter正常后面突然出现rpn_loss_cls: nanrpn_loss_box: nan,log如下:iter: 10 / 400...
2019-05-12 23:14:34
5579
7
原创 p106矿渣做深度学习踩过的那些坑
熬了两周的夜,终于用一张P106矿渣跑通了第一个vgg,我踩过的这些坑也能为其他学友们提供一些帮助吧,下面就简单记录一下。1)一直用的是thinkpad E570 GTX做的深度学习,因为只有2G显存,很多较大的模型都报OOM,只能跑一些vgg之类的小模型还行。2)听说笔记本可以外接显卡,赶紧去查了查,结果价钱把我吓了一跳,雷电3接口的外接显卡动辄5000以上,光一个外接显卡坞就用2000...
2018-12-25 23:44:11
13546
8
原创 InvalidArgumentError (see above for traceback): Cannot parse tensor from proto: dtype: DT_FLOAT
今天运行一个深度学习任务竟然报了这么长的错。查了一些资料还没有解决,难道是内存太小?运行的同时打开任务管理器发现内存并没有达到100%就报错了。来一位大神帮帮我吧。 python D:\TIANCHI\code\al1.pyUsing TensorFlow backend.(x_train.shape: (144, 1920, 2560)(y_train.shape...
2018-09-27 23:54:43
2898
6
原创 ValueError: Input arrays should have the same number of samples as target arrays.
在做图片中缺陷分类项目时出现正面报错信息:Using TensorFlow backend.(x_train.shape: (144, 1920, 2560)(y_train.shape: (144, 12)(x_test.shape: (24, 1920, 2560)(y_test.shape: (24, 12)x_train shape: (144, 1920, 2560, 1)...
2018-09-27 23:07:32
12480
5
原创 机器学习的过程总结
机器学习的过程总结机器学习的过程总结:提供样本{X,D} D为标签 建模:假设X与D的关系Y=AX+B 多元线性回归评价Y与D的接近程度:lossLoss=(Y-D)**2 优化过程----循环迭代获取一批样本Xi , Di 计算dloss(Xi,Di)/dW #此时的Xi和Di只是placeholder 执行优化----W-负梯度: W - ...
2018-07-30 00:18:54
422
原创 tensorflow中的placeholder
tensorflow中的placeholder#例如模型y=ax+b,其中的a和b是需要调整的参数,#x是要不断接收外部数据的,为了接收数据就需要定义placeholder#例如模型y=ax+b,其中的a和b是需要调整的参数,#x是要不断接收外部数据的,为了接收数据就需要为x定义placeholder#模型中还有一个可训练参数w,import tensorflow as t...
2018-07-30 00:17:00
12547
原创 tenforflow中的变量
tenforflow中的变量import tensorflow as tfimport numpy as np#定义常量a1 = tf.constant(np.ones([4, 4])*2)a2 = tf.constant(np.ones([4, 4]))#定义变量 # 是可以进行求导的b1 = tf.Variable(a1)b2 = tf.Variable(n...
2018-07-30 00:15:57
310
原创 01_tensorflow是如何表示矩阵的
首先看一下tensorflow是如何表示矩阵的:import tensorflow as tfimport numpy as np#定义计算图sess = tf.InteractiveSession()#因为python运行慢,所以要定义会话来运行#在会话执行前的所有代码都只是对模型的描述,并不会执行#直到sess.run时代码才真正执行a1 = tf.consta...
2018-07-30 00:14:57
1357
原创 今天发现了一个python/人工智能的一个好的学习站,莫烦Python,以后可以多逛逛。
Youtube video tutorial: https://www.youtube.com/channel/UCdyjiB5H8Pu7aDTNVXTTpcgYouku video tutorial: http://i.youku.com/pythontutorial
2018-07-28 21:06:26
3191
原创 django执行python manage.py makemigrations时报Access denied for user 'root'@'localhost'
django执行python manage.py makemigrations时报Access denied for user 'root'@'localhost',搞了我整整两晚上,终于解决了!!!报错如下 :E:\pythonStudy\myPythonProject\django180513\project>python manage.py makemigrationsTracebac...
2018-05-18 23:01:57
3330
2
原创 使用opencv做人臉識別
opencv做人臉識別已經做的比較好了,比如相繼拍照時自動鎖定人臉,並對臉部做特殊的濾光或補光處理。下面就體驗一把吧。1. 安裝opencv。網上有很種方法,但看起來很複雜,其實最簡單的方式就是直接用pip install opencv-python安裝。如果使用pycharm開發,直接寫import cv2,pycharm會提示安裝,按照提示安裝即可(不過這樣只會在項目裏安裝),而且安裝的內容不...
2018-05-10 22:39:10
422
原创 VirtualBox增强功能无法安装
Win10 64位下安装VirtualBox,在VIrtualBox中安装CentOS7,搞了一个多小时最后却发现增强功能无法安装。经过反复尝试,终于明白了一个问题:VirtualBox必须安装在C盘下,CentOS(.vdi)可以放在其他盘。如果没有把VirtualBox必须安装在C盘下,最后就是在花了很多时间安装CentOS后却发现无法安装增强功能!...
2018-03-15 00:59:55
16446
2
原创 第72课:Spark UDF和UDAF解密学习笔记
第72课:Spark UDF和UDAF解密学习笔记本期内容:1 Spark UDF实战2 Spark UDAF实战 UDAF=USER DEFINE AGGREGATE FUNCTION 下面直接实战编写UDF和UDAF: package SparkSQLByScalaimport org.apache.spark.sql.expressions.{Muta
2016-04-14 00:32:51
7522
1
原创 第71课:Spark SQL窗口函数解密与实战学习笔记
第71课:Spark SQL窗口函数解密与实战学习笔记本期内容:1 SparkSQL窗口函数解析2 SparkSQL窗口函数实战 窗口函数是Spark内置函数中最有价值的函数,因为很多关于分组的统计往往都使用了窗口函数。Window Aggregates (Windows)Window Aggregates (aka Windows) operate on a grou
2016-04-13 00:40:04
7924
原创 第70课:SparkSQL内置函数解密与实战学习笔记
第70课:SparkSQL内置函数解密与实战学习笔记本期内容:1 SparkSQL内置函数解析2 SparkSQL内置函数实战 SparkSQL的DataFrame引入了大量的内置函数,这些内置函数一般都有CG(CodeGeneration)功能,这样的函数在编译和执行时都会经过高度优化。问题:SparkSQL操作Hive和Hive on spark一样吗?=> 不一样
2016-04-11 00:08:46
7280
原创 第69课:SparkSQL通过Hive数据源实战学习笔记
第69课:SparkSQL通过Hive数据源实战学习笔记本期内容:1 SparkSQL操作Hive解析2 SparkSQL操作Hive实战 数据源:home/richard/slq/spark/people.txt和/home/richard/slq/spark/peoplescores.txt两个文件。people.txt的文件内容:Michael 29Andy
2016-04-10 00:10:19
9635
1
原创 第68课:SparkSQL JDBC实战详解学习笔记
第68课:SparkSQL JDBC实战详解学习笔记本期内容:1 SparkSQL操作关系型数据库的意义2 SparkSQL操作关系型数据库实战 一.使用Spark通过JDBC操作数据库SparkSQL可以通过JDBC从传统关系型数据库中读写数据,读取数据后直接生成的是DataFrame,然后再加上借助于Spark内核的丰富的API来进行各种操作。不通过SparkSQL
2016-04-08 23:52:20
6090
1
原创 第67课:SparkSQL下案例综合实战学习笔记
第67课:SparkSQL下案例综合实战学习笔记1 SparkSQL案例分析2 通过Java和Scala实现案例 本课直接通过实战练习SparkSQL下的Join操作:先用Java编写代码: package SparkSQLByJava; import java.util.ArrayList;import java.util.List; import
2016-04-08 00:24:28
2139
1
原创 第66课:SparkSQL下Parquet中PushDown的实现学习笔记
第66课:SparkSQL下Parquet中PushDown的实现学习笔记本期内容:1 SparkSQL下的PushDown的价值2 SparkSQL下的Parquet的PuahDown实现 Hive中也有PushDown。PushDown可以极大减少数据输入,极大的提高处理效率。SparkSQL实现了PushDown,在Parquet文件中实现PushDown具有很重
2016-04-07 00:08:28
5142
原创 第65课:SparkSQL下Parquet深入进阶学习笔记
第65课:SparkSQL下Parquet深入进阶本期内容:1 SparkSQL下的Parquet序列化2 SparkSQL下的Parquet源码解读3 SparkSQL下Parquet总结 Parquet中关键概念:1 Block2 File3 Column Chunk数据按列存储时,每一列的数据被分割成多个列块。存储逻辑视图:RowGroup
2016-04-03 19:24:18
1786
原创 第64课:SparkSQL下Parquet的数据切分和压缩内幕详解学习笔记
第64课:SparkSQL下Parquet的数据切分和压缩内幕详解学习笔记本期内容:1 SparkSQL下Parquet数据切分2 SparkSQL下的Parquet数据压缩 以Spark官网上的SparkSQL操作Parquet的实例进行讲解:Schema MergingLike ProtocolBuffer, Avro, and Thrift, Parquet
2016-04-03 19:03:23
6611
1
原创 第63课:Spark SQL下Parquet内幕深度解密学习笔记
第63课:Spark SQL下Parquet内幕深度解密学习笔记本期内容:1. SparkSQL下的Parquet意义再思考2. SparkSQL下的Parquet内幕解密 一.SparkSQL下的Parquet意义再思考Twitter用Parquet节省了70%存储费用。1. 如果HDFS是大数据时代分布式文件系统存储的事实标准的话,Parquet则是整个大数据时代文
2016-04-02 20:49:06
1887
原创 第62课:SparkSQL下的Parquet使用最佳实践和代码实践学习笔记
第62课:SparkSQL下的Parquet使用最佳实践和代码实践学习笔记本期内容:1 SparkSQL下的Parquet使用最佳实践2 SparkSQL下的Parquet实战 一:Spark SQL下的Parquet使用最佳实践1, 过去整个业界对大数据的分析的技术栈的Pipeline一般分为以下两种方式:a) Data Source->HDFS->MR/Hive/S
2016-04-02 20:21:29
5972
原创 第61课:SparkSQl数据加载和保存内幕深度解密实战学习笔记
第61课:SparkSQl数据加载和保存内幕深度解密实战学习笔记本期内容:1 SparkSQL加载数据2 SparkSQL保存数据3 SparkSQL对数据处理的思考 操作SparkSQL主要就是操作DataFrame,DataFrame提供了一些通用的LOAD、SAVE操作, Spark版本:大版本:主要是API变化的分支版本:增加的特性小版本:BUG
2016-03-31 23:28:42
3369
原创 第60课:使用Java和Scala在IDE中实战RDD和DataFrame动态转换操作学习笔记
第60课:使用Java和Scala在IDE中实战RDD和DataFrame动态转换操作学习笔记本期内容:1 使用Java实战RDD与DataFrame转换2 使用Scala实战RDD与DataFrame转换 什么是非动态转换?=> 提前已经知道了RDD具体数据的元数据信息,可以通过JavaBean或Case Class的方式提前创建DataFrame时,通过反射的方式获得元
2016-03-31 01:06:11
1442
原创 第59课:使用Java和Scala在IDE中实战RDD和DataFrame转换操作’学习笔记
第59课:使用Java和Scala在IDE中实战RDD和DataFrame转换操作’学习笔记本期内容:1 RDD与DataFrame转换的重大意义2 使用Java实战RDD与DaraFrame转换3 使用Scala实战RDD与DataFrame转换 一. RDD与DataFrame转换的重大意义在Spark中RDD可以直接转换成DataFrame。SparkCo
2016-03-29 01:37:12
2336
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人