常用高效技巧、软件方法和命令等
文章平均质量分 59
常用高效技巧、软件方法和命令等
清梦枕星河~
醉后不知天在水,满船清梦压星河~
展开
-
arcgis根据矢量范围裁取tif影像(栅格数据)、批量合并shp文件、根据矢量范围裁取区域内的矢量,输出地理坐标系、转换16位TIF影像的像素深度至8位、shp文件创建和矢量框标绘设置
选取研究区域,作图美观。这是最初的矢量文件,现在切割得到了云贵川地区的矢量文件,通过直接编辑最初的矢量文件。现在要从上图切出云贵川区域。打开对话框后输入影像和裁剪的区域,如果只需要裁剪的矢量区域,务必勾选红框。结果如下:如果不勾选,结果是一个包含目标区域的矩形,如下:还有一个矢量切割的地方:涉及到坐标系继承点红框选项。...原创 2021-03-21 22:54:36 · 21706 阅读 · 2 评论 -
区分COCO数据集的coco minival和coco test-dev、conda常用命令和python -m 的作用
⑥利用conda env export 导出的是个yaml格式的文件,该文件记录了环境名,软件源地址以及安装包列表,反过来 使用yaml配置文件创建新环境。上传env_name.tar.gz到新设备的anaconda3的环境中,即conda/env/目录下。相当于python会在代码执行路径下定位到-m后面的路径下,即xxxx里面的代码。2把模块当作脚本来启动(注意:但是__name__的值为’main’ )原创 2023-05-15 08:38:18 · 2279 阅读 · 1 评论 -
Crypto、Cython、pyinstaller、gdal(windows)库安装,使用Xshell拷贝大量文件
具体怎么产生的我已经记不清了,好像是conda创建虚拟环境时给定了python=3.8版本进行安装,然后在安装库的时候,环境安装的库是python3.6的版本,自动下载了python3.6,结果导致这两个版本冲突。crypto、pycrypto和pycrytodome是一个东西,crypto在python上面的名字是pycrypto它是一个第三方库,已经停更。4、Cython库安装,用于编译的cython库,第一眼看到报错,下意识是直接。把安装的Crypto库卸载掉。其他看到的方法,若不行可尝试。原创 2023-03-17 11:21:52 · 991 阅读 · 0 评论 -
Visual Studio Code配置git以及常用的git命令进行代码管理
由于之前我的vscode配置git失败了,所以每次代码更新我都是打开GitBash界面,复制ssh或http进行gitclone,久而久之,一个框架的代码就被我拉了很多版本,而且不同的版本自己也有更改,所以拉了新版本后也不能把旧的给删除,于是就积累了很多,一时也不太好找出想要用的代码,甚是烦人。结合git命令可以直接拉取上传或更新的部分代码,非常方便简单。近期实在用的太频繁了,一两天就要跟新,所以我彻底卸了之前的软件,重新安装设置了一下,结果可以用了,甚是喜悦。现在暂记一下,后面要做重复工作便于查阅。...原创 2022-07-18 11:18:32 · 12551 阅读 · 1 评论 -
linux命令、vi编辑器常用命令,shell激活虚拟环境,linux迁移conda环境,创建删除conda环境命令
赋予该文件夹下文件所有权限:chmod -R a=rwx test(文件夹)原创 2022-04-19 19:56:59 · 3289 阅读 · 0 评论 -
2024新年快乐
新年快乐~2024一切顺利~原创 2023-12-31 23:51:33 · 448 阅读 · 0 评论 -
opencv和gdal的读写图片波段顺序问题
最近处理遥感影像总是不时听到 图片的波段错了,一开始不明就里,都是图片怎么就判断错了。原创 2023-12-27 18:14:09 · 833 阅读 · 1 评论 -
Pillow库画图用法记录python
总而言之,Pillow和Matplotlib这两个库在python中画图是很实用的两个库,但各有侧重,matplotlib库对于画图功能更加强大,pillow库可用于画图,但更侧重图像处理。Matplotlib提供了多种绘图接口,包括命令式pyplot接口、面向对象的API接口、图形用户界面等,使得用户可以用较少的代码实现各种图表的绘制。②画线或面,里面可以加起始点坐标,线的颜色,宽度,坐标是像素坐标,图片左上角是原点。③加文本,文本字体,颜色,添加位置 等可设置,坐标信息是文本内容左上角起点。原创 2023-12-26 20:58:32 · 938 阅读 · 0 评论 -
labelme标注的json文件数据转成coco数据集格式(可处理目标框和实例分割)
这里主要是搬运一下能找到的 labelme标注的json文件数据转成coco数据集格式(可处理目标框和实例分割)的代码,以供需要时参考和提供相关帮助。原创 2023-12-24 11:43:50 · 4708 阅读 · 0 评论 -
pip 离线安装:利用pypi网站进行模块 库的离线安装
点击 发布历史,进入可看到以往版本,可以根据python版本从里面去找匹配的版本。在检索框中输入你要安装的库,搜索,比如opencv,你搜。时,通过whl文件的下载安装,可以很高效的解决问题。的库,离线安装可以进入该网站找到你想要安装的库的。从搜索结果中找到opencv-python, 点击。离线安装是一种很好的方法,在。安装,如下是该网站首页。进行下载,再在命令行。进入可以看到 提供的。whl文件或压缩文件。原创 2023-12-21 22:44:52 · 552 阅读 · 0 评论 -
使用ArcMap10.8修改tif影像的地理坐标系
最近有个tif数据转坐标系给我整岔了,用了定义投影的方法,坐标系是有了,可是范围区域数值没有改变,导致转出来的数据没法用,后面成功了,记一下方法便于今后查找。对比可以发现,转了坐标系后,tif数据的范围也发生了变化,至此完成了栅格数据的坐标系转换。③对话框 输入你要转坐标系的tif 数据, 然后找一个路径存放你转出来的tif数据,的方法,但是并不奏效,可能这是用于shp等矢量数据的。,选定你要转出的坐标系,此处是GCS_WGS_1984。如下是我在arcmap中打开的tif影像坐标系,是。原创 2023-12-18 19:51:46 · 5909 阅读 · 1 评论 -
ImportError:~/mmcv/_ext.cpython-38-x86_64-linux-gnu.so: undefined symbol:_ZNK5torch3jit14StringCordV
需要根据使用的torch版本huocuda版本进行匹配,或者在版本兼容范围内进行版本更换,测试出可用的版本搭配。近期碰到了这个bug,没有非常明确的解决途径,但是可以提供有效的解决思路。我在处理这个bug时,基于上述思路,最终成功解决问题。这个bug是说mmcv下的一个so文件无法导入,而。那么要正确安装mmcv,需要考虑的方面主要是和。,而mmcv的安装需要进行编译,所以说。,所以要解决这个问题就很明确了。,导致这个bug出现了。mmcv的安装有问题。原创 2023-12-15 17:46:47 · 1254 阅读 · 0 评论 -
使用blip2进行图片输入文本输出
期间碰到了transformer的问题,从transformer库导入有问题,我降低了版本,我目前的版本是。多模态的重要模型blip2,官方提供模型可以直接用来图片生成文本。把上面页面中的所有文件下载下来,放到blip2的工作空间中。或者根据个人需求改成批量化生成文本的代码也可以。一般是下载上面这个模型,也有其他的可以下载,期间如果提示缺什么库,按要求装上就可以了。然后就可以跑官方提供的demo了。原创 2023-12-15 17:12:11 · 1895 阅读 · 3 评论 -
含掩膜mask的单通道灰度图转化为COCO数据集格式标签的json文件(python)
上述代码仍然存在不足,有的mask太小segmentation输出是 [],这需要检查一下,我在里面输出的位置判断是空就不保存可以避免这种问题,但是bbox等信息有的会出现Nah的情况,需要自己判断处理。还有一点,有些内部mask比较极端的情况,代码执行容易出错,建议把问题图像删除,或者自己查找问题修改代码。目标:把灰度图中的语义mask转换为COCO数据集格式的json文件。输入:单通道的灰度图,灰度图内含掩膜mask。输出:COCO数据集格式的json文件。整体上来说,这个代码还是挺好用的。原创 2023-12-04 09:57:32 · 1126 阅读 · 4 评论 -
含mask的单通道灰度图内容可视化python
方法很简单,就是读取灰度图,根据掌握的像素值信息,分别赋予不同的颜色值像素进行保存输出。输入:单通道的灰度图,灰度图内含不同像素值的掩膜mask。输出:灰度图内的掩膜mask在RGB图像中输出。原创 2023-12-04 09:44:24 · 603 阅读 · 0 评论 -
COCO格式标签(json)内容可视化(python)
有json文件和图像文件,可以直接输入执行,输出会把bbox、mask等类型标注展示。主要是查到的可用代码,便于自己使用查询,和有相关需求的提供参考。–ann-file coco标签文件,–disp-all 显示所所有类别标签。代码是MMYOLO下的可视化代码。–img-dir 图片文件夹。原创 2023-12-04 09:30:28 · 1007 阅读 · 0 评论 -
Windows编译yolov5_obb的nms_rotated模块报错解决
这个说的是代码信息无法识别不兼容,考虑到代码编辑格式,Linux代码可能用LF格式,Windows需要CRLF格式,找到报错的cu文件,把格式改为windows可识别的crlf格式,这去掉了一些报错。这个可能是cuda装了好几个,删除不要用来编译的版本,去掉删除版本的环境变量。并把 const float eps = 1e-8;注释了,应该可以直接换掉。就是一个eps未定义,找了点办法,总算去掉了。原创 2023-11-09 13:33:02 · 812 阅读 · 1 评论 -
RuntimeError: Error(s) in loading state_dict for Model: size mismatch for model.24.m.0.weight....
但是,这处的问题并不好改,如果也是使用yolov5_rotated代码训练,建议对照yolov5的训练代码,可以发现这个rotated框架在优化器部分的代码写的不完善,而且预训练判断部分的代码也有问题,即使成功训练起来,epoch数量也不是从0,1开始,所以主要还是框架考虑不够完善。查找了一些办法,基本上是关于 loading_state_dict()的用法,如何去处理加载的权重,开始直接定位到了ckpt[‘model’]的这几层的权重,强行将几层的权重维度匹配到model中,但是训练时仍然没有解决问题。原创 2023-11-07 15:44:30 · 1862 阅读 · 0 评论 -
windows解决:OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
①有说把conda环境 anaconda/Library/bin 下自带的 libiomp5md.dll 文件删除,我直接去了我的conda环境下,发现该位置并没有 libiomp5md.dll 文件。②我的办法,去我创建的虚拟环境下 anaconda/envs/env_name/Library/bin 的 libiomp5md.dll 文件删除,再跑代码就没问题了。原创 2023-11-03 23:14:32 · 1707 阅读 · 3 评论 -
Detectron2训练自己数据集及解决bug:KeyError: Dataset ‘m‘ is not registered! Available datasets are...
Detectron2是一个用的比较广泛的目标检测和分割的深度学习框架,最近在电脑上配置环境后就准备跑一下,发现上手没那么方便,官方教程也不清晰,还得自己摸索,所以暂记一下个人成功训练的方法以及遇见的bug解决。要看bug解决,直接跳到文末。原创 2023-10-31 20:16:40 · 1507 阅读 · 2 评论 -
解决bug:‘PIL.Image‘ has no attribute ‘ANTIALIAS‘ 和‘FreeTypeFont‘ object has no attribute ‘getsize‘
ANTIALIAS在 Pillow 10.0.0 中被删除(在许多以前的版本中被弃用后)。现在您需要使用PIL.Image.LANCZOS或PIL.Image.Resampling.LANCZOS。(这与所引用的算法完全相同ANTIALIAS,只是您无法再通过名称访问它ANTIALIAS。这个bug和第一个bug一样都是因为pillow库版本太新出现的问题,最快的方法也是降低版本,或者找到引用的地方进行修改,这个略麻烦。原创 2023-10-30 10:32:50 · 6683 阅读 · 1 评论 -
解决Linux挂载问题mount.cifs command not found
【代码】解决Linux挂载问题mount.cifs command not found。原创 2023-10-30 09:23:00 · 1395 阅读 · 0 评论 -
Linux解决nvcc -V出现的-bash: nvcc command not found问题
直接把export 的命令在命令行里执行,再执行source,会自动把内容写入bashrc文件里,这个可以验证一下。vim 和 source 的操作不变。原创 2023-10-30 09:09:03 · 7188 阅读 · 1 评论 -
Miniconda、Vscode下载和conda源、pip源设置
修改 .condarc文件,windows一般在C盘用户文件夹下,如下是个人常用的源。设置conda源,先执行如下命令生成 .condarc文件。原创 2023-10-26 21:43:59 · 1526 阅读 · 1 评论 -
python把ChestX-Det-Dataset的json样本转为COCO数据集的json格式
先跑训练集或先跑验证集会生成category_mapping 的字典内容,生成后统一用同一个,就可以保证训练集和验证集的标签一致。原创 2023-10-26 01:23:17 · 163 阅读 · 0 评论 -
使用Dockerfile生成docker镜像和容器的方法记录
Docker 是一个开源的容器化平台,其中的主要概念是容器和镜像。容器是 Docker 的运行实例。它是一个独立并可执行的软件包,包含了应用程序及其依赖的所有组件(如代码、运行时环境、系统工具、库文件等)。容器可以在不同的环境中运行,具有隔离性和可移植性,不会受到底层系统或其他容器的影响。镜像是一个只读的模板,用于创建容器。它包含了一个完整的文件系统,其中包含应用程序和所有的依赖项。镜像可以被复制和分享,用于在不同的环境中创建多个相同的容器实例。原创 2023-10-22 18:16:56 · 657 阅读 · 0 评论 -
高效MMdetection(3.1.0)环境安装和训练自己数据集教程(实现于Linux(ubuntu),可在windows尝试)
很久没用mmdetection了,作为目标检测常见的几个深度学习框架,mmdetection用的人还是很多的,其中比较吸引人的一点就是mmdetection集成了非常多的算法,对于想做实验对比和算法学习的人来说,基于这个框架可以事半功倍。因为外面提出的各种各样的算法依赖的环境会有所不同,数据集的格式也有区别,我们单独去跑这一个个算法实际上是很费劲的,所以mmdetection的出现直接把这些算法集成到一个统一的平台,对于大家系统性的学习非常便利。很常规的操作,不熟悉的需要时间理解摸索一下,原创 2023-10-22 16:01:24 · 1207 阅读 · 0 评论 -
使用ppt和texlive生成eps图片(高清、可插入latex论文)
将PPT上绘制的图形转换为EPS(Encapsulated PostScript)图片在论文撰写过程中非常重要。以下是一些重要性的解释:提高图形的质量和清晰度:PPT中的图形通常以屏幕显示为目标。但在论文中,我们需要高质量、清晰的图形来确保读者能够准确地理解和分析。通过将PPT图形转换为EPS格式,可以保留图形的原始分辨率和细节,从而提高图形的质量和清晰度。保证图形的一致性:在PPT演示中,图形可能会因为多次编辑或在不同的幻灯片中使用而发生变化。原创 2023-09-04 14:36:47 · 3555 阅读 · 1 评论 -
shapely库的用法,高效处理点、线、面的几何关系和相关延申(GeoPandas 库)python
它提供了一套丰富的函数和方法,用于读取、写入、操作和分析地理空间数据,包括点、线、多边形等几何对象。以上是一些常用的多边形处理方法,你可以根据具体需求使用 Shapely 提供的函数和方法来处理你的多边形数据。以上仅是 GeoPandas 库的一些基础用法示例,该库还提供了更多强大的功能,如地理空间分析、数据合并、投影转换等。: Shapely 是一个优秀的 Python 库,用于进行几何对象的创建、操作和分析。以上仅是 Shapely 库的一些基础用法示例,该库还提供了丰富的几何操作和分析功能。原创 2023-08-08 09:39:33 · 4931 阅读 · 2 评论 -
WGS_1984_UTM、WGS_1984_Mercator坐标转化为经纬度坐标python
要获取 WGS_1984_UTM 坐标系的遥感数据的左上角和右下角坐标,你可以使用 GDAL 和 Proj 库来获取遥感数据的元信息和进行坐标转换。上述代码会打开遥感影像文件,并使用 GDAL 和 Proj 库获取其地理转换信息、坐标系信息,创建坐标转换对象,并进行坐标转换以获取左上角和右下角在 WGS_1984_UTM 坐标系下的经纬度坐标。然后,它检查投影坐标系是否是投影坐标系,如果是,则通过查找坐标系名称中的关键字(如’UTM’和’Mercator’)来确定具体的投影坐标系类型。原创 2023-08-07 23:42:11 · 3800 阅读 · 0 评论 -
实现vgg16特征图可视化、图像卷积运算数据流向解析(pytorch)
本人最近在研究深度学习的目标检测网络,在研究代码的过程中,对提取图像特征这个黑盒子的内容比较好奇和感兴趣,就进行了进一步的研究,查询相关资料,实现了vgg16网络特征图的可视化。首先贴出完整代码:import torchfrom torchvision import models, transformsfrom PIL import Imageimport matplotlib.pyplot as pltimport numpy as npimport scipy.miscimport cv原创 2021-01-22 11:07:16 · 3197 阅读 · 5 评论 -
关于在Win10系统将标注软件labelme打包生成.exe可执行文件
由于在学习语义分割框架,安装好相关环境后,下一步就是准备数据集进行训练了,网上也找了一些数据集,但还没有开始训练。因为语义分割的数据集和目标检测有一些区别,加之以前自己制作目标检测数据集都是在已有基础上进行,所以没有对使用工具及软件进行溯源,现在从数据标注工具入手。我使用过的数据标注软件有labelme和labelimg,前者是coco格式(.json),后者是vco格式(.xml),两者都是相通的,也有互相转化的代码,自己也可以写,就看怎么使用比较方便。我之前在自己笔记本上是使用虚拟环境安装了labe原创 2021-08-29 01:30:20 · 1155 阅读 · 0 评论 -
把VOC数据集转化成txt文件python
主要是网上一些已有并已用了觉得还可以的,同时记录方便以后查询使用。第一个代码是生成VOC数据集的无后缀文件名于txt文件中,如下所示:E84.27832967649_N46.23271680371_Level_17E84.27323348179_N46.20431951701_Level_17E84.26983244239_N46.22384654871_Level_17E84.26467187469_N46.19801444161_Level_17E84.25288088939_N46.183原创 2021-09-09 03:22:38 · 1486 阅读 · 0 评论 -
初级使用Latex写论文经验总结
也可根据导出的txt文件,直接改文件类型为bib,然后编写转换的tex文件,如下图,其中mdpi.bst是模板文献格式,使用bibtex编译,即可生成论文格式要求的bibitem,然后粘到vscode直接pdflatex即可编译。使用Latex的好处就不强调了,喜欢用的自然喜欢,还没喜欢的可以试着摸索一下,个人觉得主要是依据模板使用Latex可以省很多排版的事,公式编辑、表格、图片插入和文献引用等,调整编辑都很方便,用好了真的可以提高效率,体验也很好。首先强调一点,国内的知乎真的很好用,质量很高。原创 2021-12-22 11:04:33 · 2903 阅读 · 0 评论 -
超简单的页眉页脚设置(摘要、目录页眉不同、页脚页码连续)
毕业论文用word写的,涉及到自己修改摘要目录的页眉页脚刚开始搜索的教程、动态图教程都没有一目了然的帮我解决问题,后面多查了几次,还是找到了。在此做个简单记录,便于以后使用。接下来直接点击被分隔到下一页的页眉,如下所示,两章被分成了第5节、第六节(看页眉页脚)第二章的页眉和第一章的不同,这时候要取消页眉处“与上一节相同”标识,如下所示操作,首先点击至页眉或页脚的具体位置,再去点“链接到前一节”,发现可以设置成空白。这样第一章、第二章的页眉就可以单独设置了,不会变成一样的。对于页脚也是一样的,原创 2022-03-09 09:00:14 · 18201 阅读 · 0 评论 -
数据增强方式mosaic(基于yolo4)代码实现python
近几天在研究数据增强的方式,看到了mosaic,并且需要用到它,查阅了一些代码,根据个人数据,修带了代码,现有三套代码实现了mosaic,但也有些许问题。mosaic数据增强方式是一次性从数据集中随机读取四张图片进行放缩或裁剪,然后将初步处理的四张图片按照左上、左下、右下、右上的顺序进行位置分布,组合后得到一张新的图,并将标签数据处理后进行对应。mosaic的优势,一次性输入四张图,受batchsize的影响较小,数据增强方式,增加训练数据,组合后的图像拥有不同的背景,空间语义信息更加丰富,增强模型的泛原创 2021-09-09 02:54:56 · 3649 阅读 · 2 评论 -
使用Origin Pro2021画简单函数图像
主要是个人自用,防止隔期未用忘记使用方法,又要重新花时间摸索。画简单二维函数图像,可使用工具栏,有部分经典常用函数画分段函数图像左侧F不够可新建,如下是函数定义位置和函数图像线条修改修改坐标轴范围,添加箭头,修改坐标轴分布位置(最左侧,原点)下面是我画的一个分段函数Smooth L1损失函数图像...原创 2022-03-06 22:16:48 · 4007 阅读 · 1 评论 -
使用EndNote X9引用参考文献并在Word中修改生成的引文格式(编号、字体大小)GBT7714(numeric)
使用endnote写论文引用参考文献并进行管理真的很方便,根据个人需求,碰到的一些小问题和解决方法如下:1、修改word中插入后生成的引用文献的字体,首先是如下操作,可修改一种字体和大小,行间距,缩进等但是,当文献包含中文、英文时,需要单独设置,这种方法就不能满足了,但是有部分功能依然在此处设置(如行距、缩进),这时候可以从word的另一个地方设置。使用word也可以在不更新文献时作为正文内容单独编辑。下面是单独设置是否斜体2、文献编号格式修改,如下图将编号改为使用中括号格式[32]、 [原创 2022-02-21 10:52:17 · 25101 阅读 · 1 评论 -
关于LF和CRLF格式
最近碰到了个问题,最后解决的时候是把crlf格式改成lf就好了问题是:要在离线空间使用sh脚本执行python代码,把相关配置写好保存到sh文件就准备执行了结果报错了,我脚本里写了python环境的...原创 2022-05-08 01:04:41 · 1187 阅读 · 0 评论 -
windows环境安装miniconda、pytorch及visual studio编译DCNv2过程问题梳理记录
1、环境安装:gdal cudatoolkit torch torchvision torchaudio首先是镜像源配置,全面配置结果如下,通过清华镜像源网站获取(anaconda tsinghua),获取镜像源网址:https://mirror.tuna.tsinghua.edu.cn/help/anaconda/安装库的问题:windows直接通过conda命令限制库的版本和获取源(conda-forge、nvidia)来安装cudatoolkit 等库会报错,找不到合适的版本,主要原因是wind原创 2022-06-09 16:30:59 · 2618 阅读 · 1 评论