深度学习菜鸟-CSDN博客

原创 ImportError: libmkl_gf_lp64.so: cannot open shared object file: No such file or directory

pytorch动态链接库问题

2023-06-14 10:57:18 527

原创 python批量读取心电xml格式数据，提取心电值每个通道按列保存到txt中

python批量提心电xml格式数据，提取心电值每个通道按列保存到txt中

2023-01-08 14:22:10 1836 1

原创 python批量修改labelme标注的json文件中的标签名

python批量修改labelme标注的json文件中的标签名

2022-11-19 18:37:50 3744 4

原创 python读取txt文件并删除文中空行

# coding:utf-8file1 = open('data.txt', 'r', encoding='utf-8') # 打开要去掉空行的文件file2 = open('data2.txt', 'w', encoding='utf-8') # 生成没有空行的文件for line in file1.readlines(): if line == '\n': line = line.strip('\n') file2.write(line)file1.c

2022-02-22 17:36:36 11043

原创 python读取excel指定的列并将内容保存为txt内容

1.需要的python库pip install xlrd2.读取excel指定的列并将内容保存为txt内容代码如下：# coding:utf-8import xlrd # 读取excel文件需要的库def strs(row): values = "" for i in range(len(row)): if i == len(row) - 1: values = values + str(row[i])

2022-02-22 17:18:37 8692

原创 python检查xml标注数据是否存在gt的box和image的重叠区域为0，导致loss为nan

用mmdetection训练目标检测模型时，出现了bbox_loss和cls_loss为nan的问题，记录排查原因的过程，以及最终的解决。现象是，loss 在正常降低的过程中，突然跳变nan，整体震荡下降。mmdetection中出现 loss 在正常降低的过程中，突然跳变nan的可能原因如下：1 、mmdet中的 core/ evalution/ classnames.py 中的类别没修改2 、mmdet 中的 datasets/ voc.py 中的类别没修改3 、config/ base/mod

2021-08-09 15:02:24 817

原创 TF_Serving 模型部署serving_default“ not found in signature def”

TF_Serving 模型部署调用savemodel如果遇到 { “error”: “Serving signature name: ”serving_default“ not found in signature def” }可以尝试以下命令，查看Serving signature namesaved_model_cli show --dir saved_model/1/ --all# saved_model_cli show --dir savemodel模型文件夹路径/ --all可以看

2021-06-03 14:15:23 1646

原创 python将文件夹下所有图片的文件名写入txt文件

# -*- coding:utf-8 -*-import globimageList = glob.glob("images_test/*.jpg") # 图片所在文件夹的路径f = open('images_test_name.txt', 'a') # 创建标签文件存放图片文件名for item in imageList: # print(item) # images_test/m1_a_01

2021-05-26 15:00:59 1531

原创 python生成指定范围内指定个数且不重复的随机数

需求：1.随机从0-376616中产生80000个不重复的随机数2.将产生的80000个不重复的随机数从小到大排序后写入txt文件# -*- coding:utf-8 -*-import randomlist_1 = random.sample(range(0, 376616), 80000) # 随机从0-376616中产生80000个不重复的随机数list_1.sort() # 升序排序# print('排序后的列表为：\n',li

2021-05-26 14:49:52 7606 1

原创 python根据txt中指定信息从一个文件夹中移动数据到另一个文件夹

# -*- coding:utf-8 -*-import shutilimport osoldpath = 'images_train' # 原数据路径newpath = 'images_train_8500' # 移动到新文件夹的路径file_path = 'random_8500.txt' # txt中指定移动文件的文件信息#从文件中获取要拷贝的文件的信息def get_filename_from_txt(file): filena

2021-05-26 14:17:48 1162

原创 python修改txt文件内指定列的内容

原txt文件内容如下：需要修改并提取前两列内容：第一列图片名统一加前缀’9443_’，第二列数值统一加9443。代码实现如下：# -*- coding:utf-8 -*-f = open('val.txt') # 打开txt文件line = f.readline() # 以行的形式进行读取文件list1 = []while line: a = line.split() b = a[0:2] # 这是选取需要读取/修改的列前两列 list

2021-05-25 10:27:45 6628 1

原创 python移动文件夹下所有文件到另一个文件夹

# -*- coding:utf-8 -*-import shutilimport osdef remove_file(old_path, new_path): print(old_path) print(new_path) filelist = os.listdir(old_path) #列出该目录下的所有文件,listdir返回的文件列表是不包含路径的。 print(filelist) for file in filelist:

2021-05-25 10:00:02 6722 1

原创 yolov5-pytorch模型转onnx模型再转tensorflow savedmode模型进行tfserving部署

pytorch框架下的yolov5模型部署到tensorflow serving，需要将pytorch的pt模型转换为onnx模型，再将onnx模型转换为tfserving的savedmode模型。1. pytorch的pt模型转onnx模型使用yolov5中自带的 export.py 脚本（在models下）可以将模型导出为 TorchScript， ONNX, CoreML。环境： yolov5-5.0的requirements.txt dependencies, including Python

2021-05-15 10:26:48 3891 1

原创 python根据yolov5检测得到的txt文件，截取目标框图片并保存

yolov5在模型推理阶段，命令如下： python detect.py --weights runs/exp1/weights/best.pt --source inference/images/ --device 0 --save-txt该命令中save_txt选项用于生成结果的txt标注文件，会生成每张图片对应文件名的txt检测框信息文件，每个txt会生成一行一个目标的信息，信息包括类别序号、xcenter ycenter w h，后面四个为bbox位置，均为归一化数值，如下图：2. p.

2021-05-13 19:43:08 26955 65

原创 python批量实现labelImg标注的 xml格式数据转换成 txt格式保存

labelImg标注的 xml格式数据如下：单个xml文件数据打开如下：python实现labelImg标注的 xml格式数据转换成 txt格式数据的代码xml2txt.py如下：# -*- coding: utf-8 -*-import osimport xml.etree.ElementTree as ETdirpath = 'raw_data/xml_raw' # 原来存放xml文件的目录newdir = 'raw_data/txt' # 修改lab

2021-05-12 15:58:32 5630 12

转载 python实现从一个文件夹下随机抽取一定数量的图片并移动到另一个文件夹

转载：https://blog.csdn.net/weixin_40769885/article/details/82869760

2021-05-07 14:09:17 540

原创 python批量图像上下翻转和旋转90 180 270扩充数据

本文介绍的图像的旋转，使用PIL的Image类的接口函数transpose()完成，直接在入参中指定变换方式即可，不仅支持上下、左右翻转；也支持逆时针90、180、270等角度的旋转。# -*- coding: utf-8 -*-from PIL import Imageimport osfile_dir = 'train_img/png_da_all/' # 原始图片路径rotate_180 = 'train_img/rotate_180/' # 保存路径

2021-05-06 11:55:59 3066 1

原创 python opencv图片/线条细化（骨架提取）

骨架提取，也叫二值图像细化。这种算法能将一个连通区域细化成一个像素的宽度，用于特征提取和目标拓扑表示。骨架提取与分水岭算法也属于形态学处理范畴，都放在morphology子模块内。morphology子模块提供了两个函数用于骨架提取，分别是skeletonize()函数和medial_axis()函数。1）skeletonize()函数在模块：skimage.morphology.skeletonize(binary_image)下：输入和输出都是二值图像。安装地址：pip install scik

2021-04-07 15:06:46 16189 5

原创 python多（3）分类中将label值批量赋予新的值

如上图中train.csv和test.csv中各属性特征一样，“productId”一列为分类的label，在模型训练时欲将label值转化为0，1，2…代替，原始数据不改变。代码如下：# -*- coding:utf-8 -*-# 功能：三分类将label值批量赋予新的值import pandas as pd# load datatrain_data = pd.read_csv('../data/train.csv')test_data = pd.read_csv('../data/t.

2021-03-22 13:02:16 889 2

原创 python读取csv并根据指定属性值提取数据

如上表csv数据，将productId=6666并且target=1和3的数据提取出来另存文件。代码如下：# -*- coding:utf-8 -*-# 功能：将target=1和3并且productId=6666的数据取出来import pandas as pdimport datetimeproduct_6666 = [6666]def result(data): data_6666_1 = data[(data['target'] == 1) & (data['p.

2021-03-18 15:28:52 4070 2

原创焦作云台山旅游攻略

景区简介：　　焦作云台山风景名胜区因山势险峻，峰壑之间常年云锁雾绕而得名，以独具特色的“北方岩溶地貌”、“云台山水”被列入首批世界地质公园名录。这里四季分明，景色各异，是一处以太行山岳丰富的水景为特色，以峡谷类地质地貌景观和悠久的历史文化为内涵，集科学价值和美学价值于一身的科普生态旅游精品景区。　　云台山以山称奇，整个景区奇峰秀岭连绵不断，主峰茱萸峰海拔1308米，踏千阶的云梯栈道登上茱萸峰顶，可望千里太行深处，领略到“会当凌绝顶，一览众山小”的意境；云台山以水叫绝，素以“三步一泉，五步一瀑，十步一潭”

2021-03-09 18:04:17 1035 5

原创 python读取字典文件根据字典的key提取对应的value值并保存文件

字典文件内容如下：需求：获取文件中每条字典数据的serv_number，保存文件。# -*- coding:utf-8 -*-import jsonfrom tqdm import tqdm # tqdm模块是python进度条库testFile = 'jsonDict' # 文件中数据都是字典格式with open(testFile, encoding='utf-8') as f: fphone = open('phoneNum.csv', 'w', encodin

2021-03-04 18:01:48 2784 1

原创 python根据字典的key获取对应的value值进行判断

# -*- coding:utf-8 -*-def pred(dayToday, fields): ''' :param dayToday: 当前日期 :param fields: n行m列的特征数据 :return: ''' day_threshold = {'1': 0.1, '2': 0.2, '3': 0.3, '4': 0.4, '5': 0.5, '6': 0.6, '7': 0.7} # 日期-阈值字典 if str(dayTo

2021-03-04 17:51:08 7872 1

原创 python对Excel表格的指定两列数据画折线图

Excel表格数据如下：# -*- coding:utf-8 -*-import numpy as npfrom matplotlib import pyplot as pltimport xlrdimport xlwtyfilename = '统计当月流量剩余占比的平均值.xlsx'book_wind=xlrd.open_workbook(filename=filename)wind_sheet1=book_wind.sheets()[0] # 读取第1行标题title=wi

2021-02-19 17:58:15 8377 5

原创 python读取CSV文件并计算指定列的均值和方差

# -*- coding:utf-8 -*-import csvimport numpy as npwith open('data.csv') as csv_file: row = csv.reader(csv_file, delimiter='|') # 分隔符方式 next(row) # 读取首行 leftDataProp= [] # 创建一个数组来存储数据 # 读取除首行以后每一行的第41列数据，并将其加入到数组leftDataProp之中 .

2021-02-19 17:54:41 10768 2

原创 python获取每月的最后一天

import calendar # 导入库year = 2021 # 指定年份month = 2 # 指定月份lastDay = calendar.monthrange(year, month)[1] # 指定年月的最后一天，即指定年月的整月总天数print(lastDay) # 28输出结果：28即2021年2月份的最后一天是第28天，也即2021年2月份总共28天。...

2021-02-08 14:32:16 7932 1

原创使用git把本地代码上传（更新）到github仓库指定分支下

1）默认已有github账号和仓库项目，并且项目下有多个分支；2）默认git工具已正确安装；3）在本地将要上传的代码（or文件）的文件夹下空白处右键，右键会出现两个新选项，分别为Git Gui Here，Git Bash Here，这里我们选择Git Bash Here，进入如下界面LightGBM+LR即为我的项目名；4）初始化本地仓库#如果之前有初始化 init 需要删除命令: rm -rf .git#初始化本地仓库命令: git init如上图，初始化本地仓库后会在本地项目名后面

2021-01-28 17:57:06 12273

原创 python读取csv文件将属性和值保存成字典形式

csv文件如下：# coding:utf-8import csv'''功能:读取csv文件将属性和值保存成字典形式写入新的csv'''with open('student.csv', 'r', encoding='utf-8') as f: resder = csv.reader(f) filenames = next(resder) # 获取数据的第一列，作为后续要转为字典的键名生成器，next方法获取 csv_reader = csv.DictReader(f

2021-01-11 12:39:44 3647 2

转载 python基于内容(content_based)的电影推荐系统实战

转载：https://blog.csdn.net/yuanzhiqj/article/details/106402021

2020-12-30 16:18:44 1152

原创 NLTK语料库nltk.download()安装失败及下载很慢的解决方法

一. 解决nltk.download()安装失败import nltknltk.download()下载nltk语料库出现getaddrinfo failed 如下错误：这里只需将Server Index路径改成NLTK官网http://www.nltk.org/nltk_data/即可。但是选中要下载的安装包点击Download下载，会发现下载很慢，而且很容易出错。二. 解决nltk下载很慢1）百度云下载扩展包。链接：https://pan.baidu.com/s/1LWM3o7iR

2020-12-23 17:22:05 20458 14

原创 python读取文本并将指定内容逐行写入txt文件保存

文本文件示例如下：需求：筛选所有后缀是“ing”的词，并将其保存到新的txt文件中。代码如下：# coding:utf-8import osingword = []for line in open("file.txt"): # 逐行读取 for word in line.split(): if word.endswith("ing"): # 筛选后缀是“ing”的词 ingword.append(word) # 后缀是“ing”的词

2020-12-23 15:09:29 9181 3

原创 python读取txt文件的某一列将其存入新的txt文件

val.txt文件内容有两列，如下：将第一列数据取出存入新的txt文件，代码如下：# coding:utf-8f = open('val.txt') # 打开txt文件line = f.readline() # 以行的形式进行读取文件list1 = []while line: a = line.split() b = a[0:1] # 这是选取需要读取的列 list1.append(b) # 将其添加在列表之中 line = f.readli

2020-11-30 16:00:47 10180 5

原创 python实现牛津花卉数据集自动分类到文件夹

牛津花卉数据集下载链接：http://www.robots.ox.ac.uk/~vgg/data/flowers/17/官网虽然可以下载，但是是1360张图片堆在一个文件夹里，没有分类。要是自己手动分成17个文件夹，然后再复制图片进去，一来效率低，二是容易出错。以下代码是把1360张图片按照80个一类分别放入17个文件夹中：# coding:utf-8from imutils import paths # 把dir路径下的所有图片名称变成一个列表import osimport shutil

2020-11-30 10:10:59 671

原创 python实现yolov4中的Mosaic数据增强方法

Mosaic数据增强方法介绍mosaic数据增强利用了四张图片，对四张图片进行拼接，每一张图片都有其对应的框框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框框，然后我们将这样一张新的图片传入到神经网络当中去学习，相当于一下子传入四张图片进行学习了。论文中说这极大丰富了检测物体的背景！且在标准化BN计算的时候一下子会计算四张图片的数据！如下图所示：思路：以下代码实现对原始图片进行左右翻转，其对应的xml标注文件也同步左右翻转---->然后手动将原始图片和左右翻转后的图片整合到

2020-11-12 14:15:30 1769 4

转载 python实现对jpg和labelImg的xml数据水平翻转数据扩增

转载：https://blog.csdn.net/qq_36848732/article/details/106464185功能：labelImg标注过的图片水平翻转，对应的xml标注信息也同步水平翻转。代码如下：# -*- coding:utf-8 -*-import cv2import osimport sysimport reimport xml.etree.ElementTree as ETfrom PIL import Imageimgreadpath = 'img/'

2020-11-11 09:58:31 884

原创 win10 anaconda安装apex（利用NVIDIA的apex实现在Pytorch中混合精度计算）

Apex混合精度加速介绍：为了帮助提高Pytorch的训练效率，英伟达提供了混合精度训练工具Apex。号称能够在不降低性能的情况下，将模型训练的速度提升2-4倍，训练显存消耗减少为之前的一半。该项目开源于：https://github.com/NVIDIA/apex ,文档地址是：https://nvidia.github.io/apex/index.html该工具提供了三个功能，amp、parallel和normalization。安装步骤：1、在github上下载apex文件到本地下载地址 htt

2020-11-09 15:54:45 2691 1

原创 conda添加清华镜像源，解决服务器下载缓慢导致失败问题

Anaconda 是一个用于科学计算的 Python 发行版，支持 Linux, Mac, Windows, 包含了众多流行的科学计算、数据分析的 Python 包。Anaconda 安装包可以到清华镜像源下载anaconda （https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/）下载。TUNA 还提供了 Anaconda 仓库的镜像，运行以下命令:conda config --add channels https://mirrors.tun

2020-11-09 11:21:04 4887 1

空空如也

空空如也