自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(396)
  • 收藏
  • 关注

转载 过采样算法之SMOTE

摘要SMOTE是一种综合采样人工合成数据算法,用于解决数据类别不平衡问题(Imbalanced class problem),以Over-sampling少数类和Under-sampling多数类结合的方式来合成数据。本文将以Nitesh V. Chawla(2002)的论文为蓝本,阐述SMOTE的核心思想以及实现其朴素算法,在传统分类器(贝叶斯和决策树)上进行对比算法性能并且讨论其算法改进的途径。1. 引言类别不平衡是一种在分类器模型训练过程中常见的问题之一,如通过大量胸透图片来学习判断一个人

2021-10-04 15:39:00 22

原创 判断点在四边形内(Python实现)

判断点在四边形内的算法,在网上流传的方法大多是适合矩形,例如链接,并不适合所有的凸四边形。先说对于矩形常用的方法,也是网上流传比较广的一种方法,是判断点与四边形的边的夹角是锐角,也即点积>0。实现如下:def point_in_box_rect2(point, corners): """check if a point lies in a rectangle defined by corners. un-support quadrangle idea: check proje

2021-09-25 17:19:13 12

转载 视频ts格式转mp4

工具下载:TS转MP4.zip使用方法:1,把压缩包解压到TS文件的目录里2,双击run.bat3,等待运行完成,出来同名的MP4文件4,删除TS文件5,搞定下载链接

2021-09-25 16:59:33 12

原创 标准规范查询与下载

1 标准规范查询国标、行标、地方规范等可以在全国标准信息公共服务平台查询,例如国标在:国家标准目录查询- 全国标准信息公共服务平台 (samr.gov.cn)2 标准规范下载如果标准规范右侧显示全文链接,则可下载。点击全文点击在线预览打开链接后,使用另存为无法保存pdf,可以使用打印,选择输出pdf可以保存出pdf文件。...

2021-09-24 09:50:55 9

原创 allow_growth控制tensorflow显存动态增长 无效问题

问题:tensorflow1.15环境使用config.gpu_options.allow_growth = True,控制显存动态增长,发现无效,显存仍然会被完全占用config = tf.ConfigProto()config.gpu_options.allow_growth = Truetf.keras.backend.set_session(tf.Session(config=config))分析:暂未找到原因,类似问题:gpu_options doesn't work · Issue

2021-09-10 18:12:51 46

原创 安装python3.6版本的Miniconda3

目前Miniconda3的主要版本已经不支持python3.6,以Windows为例,在官网Miniconda — Conda documentation中只有python3.7及以上版本的安装支持,如果想python3.6需要找历史版本。 根据Miniconda3的更新说明,4.5.11是第一个使用python3.7的版本,也即之前的版本即是使用python3.6,例如下图中的Miniconda3-4.5.1版本。历史版本链接:Index of / (anaconda.com)...

2021-09-07 11:37:37 42

原创 windows系统下conda正常安装gdal后import gdal导入出错:ImportError: DLL load failed

问题:ImportError: DLL load failed: The specified procedure could not be found.分析:解决:Python Extension Packages for Windows - Christoph Gohlke (uci.edu)

2021-09-07 11:17:04 28

原创 Error running docker container: starting container process caused “exec: \“python\“: executable file

问题:miniconda3虚拟环境创建python环境,使用下面Dockerfile编译docker镜像FROM cuda10.2_pt1.5:09061COPY . /workspaceWORKDIR /workspaceCMD ["python","run.py","/input_path","/output_path"]使用时出错:docker: Error response from daemon: OCI runtime create failed: container_li

2021-09-07 11:10:14 29

原创 解决AttributeError: module ‘keras.utils.generic_utils‘ has no attribute ‘populate_dict_with_module**

问题:使用keras 2.2.4和tensorflow2.5组合时,import keras出现错误AttributeError: module 'keras.utils.generic_utils' has no attribute 'populate_dict_with_module_objects'分析:版本适配性导致问题解决方案:可以使用tf自带的keras或降低tensorflow版本与keras相匹配,例如使用tensorflow=1.13.1版本...

2021-09-03 16:14:56 90

转载 高版本Keras多GPU和分布式训练(Multi-GPU and distributed training)

From:Multi-GPU and distributed training (keras.io)IntroductionThere are generally two ways to distribute computation across multiple devices:Data parallelism, where a single model gets replicated on multiple devices or multiple machines. Each of the.

2021-09-03 15:34:20 18

原创 keras加载模型错误:“bad marshal data“

问题:使用python 3.8环境下的keras加载python 3.6环境保存的模型文件时,出现错误ValueError: bad marshal data (unknown type code)原因:marshal是internal python object serialization(Python内部对象序列化)模块,这是不同python环境文件交换产生的错误。解决方案:使用相同Python版本加载模型,或者从源码构建模型,而不是从模型结构文件。扩展:产生该类问题的可能解决方法总结

2021-09-03 15:24:56 64

原创 解决:AttributeError: module ‘tensorflow.keras.backend‘ has no attribute ‘get_session‘

问题:将tensorflow 1代码迁移到tensorflow 2版本时出现错误,环境为tensorflow 2.3AttributeError: module ‘tensorflow.keras.backend‘ has no attribute ‘get_session‘ 分析:出错原因是因为tensorflow 2中tensorflow.keras.backend没有get_session接口,但是其提供了兼容tensorflow 1的接口,也即tensorflow.compat.v1.k.

2021-09-03 12:00:48 50

原创 解决tensorflow 1 迁移到tensorflow 2中AttributeError类问题的思路

tensorflow 2 相对于tensorflow 1 或keras存在较多的变化,弃用了很多方法,部分是改了接口,部分是完全弃用,这时会导致AttributeError错误等各类找不到方法的问题。解决此类问题有两种思路:1、针对改了接口,但存在替代接口的可以在官方API文档中通过搜索查看,如果能查到的就是替代接口还存在,此时使用替代接口即可。例如原来的tf.keras.backend.get_session或者keras.backend.get_session,可以通过这里提示的新接口tf...

2021-09-03 12:00:02 15

原创 解决 AttributeError: module ‘tensorflow.keras.utils‘ has no attribute ‘multi_gpu_model‘

问题:迁移低版本keras代码到高版本tensorflow代码时出现错误:AttributeError: module 'tensorflow.keras.utils' has no attribute 'multi_gpu_model' 原因:这是由于,高版本的keras中已经弃用multi_gpu_model方法,而使用了新的并行方法tf.distribute.MirroredStrategy(),这种并行即支持单机单卡,也支持多机多卡等多种形式的并行。 解决方案:...

2021-09-03 11:06:22 131

原创 Landsat Fractional Snow Covered Area Product(Landsat雪比例产品,含云掩膜)

Landsat Fractional Snow Covered Area Product是一套30米的雪比例产品(含云掩膜) ​、该产品包括2部分。一是雪比例产品fSCA,产品文件说明LXSS_US_HHHVVV_YYYYMMDD_yyyymmdd_CCC_VVV_PACKAGE.tar(e.g., LE07_CU_003011_200008285_20170918_C01_V01_SNOW.tar)L LandsatX Sensor (“C” = OLI/TIRS, “E” = E

2021-09-01 15:04:19 10

转载 华为云OBS数据桶使用

华为云OBS数据桶的使用模式和AWS类似,可以参考这个链接入门总览_对象存储服务 OBS_快速入门_华为云 (huaweicloud.com)概览OBS最基础的入门操作包括创建桶、上传对象和下载对象,通过这三个操作就能完成数据上传和下载。图1为OBS大致的入门使用流程,实际上针对不同的使用方式有细微的差异,具体差异请参考对应使用方式的指导文档,本入门指导旨在帮助您对OBS的入门操作有个初步的认识。图1入门流程注册华为云,为帐号充值等,请参见步骤一:准备工作。 除了控制台以外,.

2021-08-27 18:59:48 86

转载 土地覆盖/土地利用简介及数据集

1 简介土地覆盖:地球表面当前所具有的自然和人为影响所形成的覆盖物,是地球表面的自然状态,如森林、草场、农田、土壤、冰川、湖泊、沼泽湿地及道路等。土地利用:是人类在生产活动中为达到一定的经济效益、社会效益和生态效益,对土地资源的开发、经营、使用方式的总称。两者的区别:• 土地利用表示与土地相结合的人类活动而产生的不同利用方式,反映土地的社会和经济属性。• 土地覆盖表示地球表面存在的不同类型的覆盖特征,强调的是土地的表面形状,反映土地的自然属性。土地利用/土地覆盖分类系统LULC分

2021-08-23 10:00:50 251

原创 设置xrdp使用固定的会话

修改xrdp.ini配置文件,位于/etc/xrdp/xrdp.ini要打开和编辑xrdp的配置文件,请使用:sudo nano /etc/xrdp/xrdp.ini默认情况下,第一个xrdp会话处理脚本如下所示:[xrdp1]name=sesman-vnclib=libvnc.sousername=askpassword=askip=127.0.0.1port=-1默认port=-1,这使xrdp总是寻找可用的端口进行连接。如果您在此处设置固定端口,则xrd

2021-08-19 16:19:52 25

转载 windows用xrdp方式远程桌面连接ubuntu

一、安装桌面环境Ubuntu 服务器通常使用命令行进行管理,并且默认没有安装桌面环境。如果你正在运行 Ubuntu 桌面版,忽略这一步。在 Ubuntu 源仓库有很多桌面环境供你选择。一个选择是安装 Gnome,它是 Ubuntu 的默认桌面环境。另外一个选项就是安装 xfce。它是快速,稳定,并且轻量的桌面环境,使得它成为远程服务器的理想桌面。运行下面任何一个命令去安装你选择的桌面环境:sudo apt-get updatesudo apt-get install vnc4server

2021-08-19 16:14:11 57

原创 GDAL driver查找

矢量driver:https://gdal.org/drivers/vector/index.html栅格driver:https://gdal.org/drivers/raster/index.html以矢量driver为例,代码中使用的driver是Short name,例如ESRI Shapefile、GeoJSON

2021-08-19 10:53:20 27

转载 Windows下安装 pycocotools

windows下安装pycocotools包时,遇到了一大堆坑,这篇文章希望能让大家少走一点弯路。pycocotools作者压根就没考虑windows版本。 安装pycocotools COCO 地址: https://github.com/cocodataset/cocoapi大佬改写支持 Windows 的 COCO 地址:https://github.com/philferriere/cocoapi方案一CMD 终端中使用 pip 安装:pip install git+htt

2021-08-10 10:06:35 133

原创 核心期刊查询

中文核心期刊查询可以在知网的期刊库中查询,地址如下:出版来源导航 (cnki.net)查询时可以按类别导航选择,或直接搜索关键词,通过“核心期刊”筛选出核心期刊

2021-08-03 09:32:36 56

原创 WARNING:tensorflow:`add_update` `inputs` kwarg has been deprecated.

Tensorfow 2.1+版本add_update函数已经弃用inputs参数,重新该方法时注意不使用该参数WARNING:tensorflow:`add_update` `inputs` kwarg has been deprecated. You no longer need to pass a valhttps://github.com/tensorflow/tensorflow/blob/r2.1/tensorflow/python/keras/engine/base_layer.py

2021-07-28 16:11:26 43

转载 keras从多GPU权重提取单GPU权重

keras多GPU模型和单GPU权模型并不相同,权重也不相同,从多GPU权重提取单GPU权重的操作示例为:model = ResNextImageNet(blah..)p_model = multi_gpu_model(model)p_model.load_weights(bst) # load multi-gpu model weightsold_model = p_model.layers[-2] #get single GPU model weights# it's necessa

2021-07-28 10:01:10 8

转载 Linux下chrpath的使用

在ubuntu16下使用chrpath。安装:sudo apt install chrpath查看可用选项:wmz@ubuntu:~$ chrpath --helpUsage: chrpath [-v|-d|-c|-r <path>] <program> [<program> ...] -v|--version Display program version number -d|--delete ...

2021-07-26 17:32:56 21

原创 mmsegmentation自定义新数据集

注册数据集类型1、mmseg/datasets/中创建数据集类型py文件,指定CLASSES、PALETTE,修改__init__函数参数,更新影像和标注后缀。2、mmseg/datasets/__init__.py中添加类型,并更新__all__# addfrom .c6 import C6Dataset3、configs/_base_/datasets/中添加该类型的数据集元数据,更新dataset_type、data_root、crop_size、pipeline等。数据一般在

2021-07-23 18:14:19 169 2

原创 3090显卡深度学习无法加速

win下可能原因之一:

2021-07-19 13:03:48 162

原创 Nvidia tensorflow docker

在使用3090显卡时不能有效的发挥出显卡效能,Nvidia提供的镜像可以试试TensorFlow | NVIDIA NGC待填坑

2021-07-19 11:46:58 15

转载 You are using ptxas 8.x, but TF requires ptxas 9.x (and strongly prefers >= 9.2.88). Compilation of

TF2.0 ptxas ignores PATH · Issue #33375 · tensorflow/tensorflow (github.com)The workaround for this particular problem on unix-based machines is to link your cuda bin to your working directory. Go to the directory, where you launch your python code and c

2021-07-17 09:13:47 79

原创 tensorflow无法正常使用显卡,错误Couldn‘t invoke ptxas.exe --version

环境信息:显卡 2080ticudatoolkit(version11.0.221)cuDNN(version8.0.4tensorflow-gpu(version2.4.1).问题:使用编译的tensorflow.dll预测时,cuda和cudnn正常加载,但出现错误无法正常使用GPU。错误信息为:2021-07-16 19:17:09.091737: I tensorflow/stream_executor/platform/default/dso_loade...

2021-07-17 09:11:59 385 1

原创 Tensorflow运行库下载

当前提供至 2.4版本的win、linux和arm运行库下载:tensorflow (photoprism.org)

2021-07-16 17:42:55 17

原创 Keras fit_generator中的max_queue_size, workers, use_multiprocessing设置

Keras Model.fit_generator中这三个参数的说明max_queue_size: maximum size of the internal training queue which is used to "precache" samples from the generator 预缓存的最大队列数量 workers: number of threads generating batches in parallel. Batches are computed i

2021-07-15 13:46:57 156

原创 错误:Output tensors to a Model must be the output of a TensorFlow `Layer`

使用tf.keras.models.Model()构建模型时遇到错误:Output tensors to a Model must be the output of a TensorFlow `Layer`出错环境是Tensorflow 1.x 在Tensorflow 2中正常,这里出错的原因是因为代码中混用了keras或tf.keras和tf的一些函数(层)。比如:inputs = keras.layers.Input(shape=(256,))embed1 = keras.laye

2021-07-08 13:19:30 52

原创 TypeError: float() argument must be a string or a number, not ‘Dimension‘

Keras中运行 input.shape得到的变量与float、int等类型的操作时会报错,例如in_channel = inputs.shape[channel_axis]x = conv_layer(x, filter=in_channel*0.5, kernel=[1,1], layer_name=scope+'_conv1')在低版本keras中这里inputs.shape得到的类型是Dimension,与其他类型运算会报错,注意转换到int类型in_channel = int(i

2021-07-08 09:25:59 116

原创 Tensorflow h5转pb

Tensorflow 2 h5转pbtensorflow 2中h5转pb比较简单,加载h5模型后,使用save_model即可from tensorflow.keras import modelsmodels.load_model('model.h5')models.save_model(model, pb_outpath)但因为tf2推荐使用saved_model格式,实际保存的是saved_model,即1个pb文件和两个文件夹。Tensorflow 1 h5转pb这里使

2021-07-03 16:46:40 174

原创 Keras load_model报错got an unexpected keyword argument ‘ragged‘

使用 keras.models.load_model加载h5,或使用model_from_json加载json模型时,出现错误:got an unexpected keyword argument ‘ragged‘ 出错原因是因为模型是由tensorflow.keras保存的,需要使用tensorflow.keras的函数加载,例如:model = tensorflow.keras.models.load_model("model.h5")参考:Tenso...

2021-07-02 16:24:29 58

原创 Jupyter notebook kernel error 无法使用:pywintypes.error: (87, ‘SetFileSecurity‘, ‘参数错误.‘)

问题:启动jupyter notebook正常打开,但kelnel error无法正常使用,提示错误:pywintypes.error: (87, 'SetFileSecurity', '参数错误.') 或 pywintypes.error: (87, 'SetFileSecurity', 'Parameters incorrect.')。解决方案:Win Error大都是系统环境问题导致的。SetFileSecurity看着是需要一些写操作权限的,jupyter notebook需要C:.

2021-06-25 09:22:12 96

翻译 Jupyter notebook无法打开: pywintypes.error: (5, ‘SetFileSecurity‘, ‘Access is denied.‘)

问题:启动jupyter notebook无法打开,发现是权限问题。Traceback (most recent call last):File "D:\Chris\Continuum\anaconda3\lib\site‑packages\spyder\plugins\ipythonconsole\plugin.py", line 1173, in create_kernel_manager_and_kernel_clientkernel_manager.start_kernel(stder

2021-06-24 23:26:20 68

原创 使用Model.fit_generator时收到弃用警告: Model.fit_generator is deprecated and will be removed

Tensorflow2.1版本以后在使用Model.fit_generator时收到了此弃用警告:WARNING:tensorflow: Model.fit_generator (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version. Instructions for updating: Please use Model.fit, which supports

2021-06-24 22:56:14 402 2

原创 tensorflow中if判断相等 (使用==出错using a `tf.Tensor` as a Python `bool` is not allowed)

问题:在tensorflow或者keras中使用==,例如if Tensor_A == Tensor_B时,会导致错误:using a `tf.Tensor` as a Python `bool` is not allowed解决方案:这是因为==或!=等运算符返回的是bool Tensor,而不是python中普通的bool。可以使用is进行直接判断两个Tensor是否相同;或使用(Tensor_A==Tensor_B)is not None;如果要判断if ...

2021-06-24 22:47:22 157

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除