数据处理
沧海二阳
如需技术交流,加qq:2536298120或微信13180977920
展开
-
将多个嵌套文件夹下的csv文件中的一列,合成到一个csv
将多个csv文件中的一列,合成到一个csv需求:搜索多个嵌套文件夹中的csv文件,将特定列,合并到一个csv代码:import csvimport osimport pandas as pdroot_path = os.path.join(os.path.dirname(os.path.abspath("__file__")), 'fhj')df_S11 = pd.DataFrame()df_S21 = pd.DataFrame()def get_loss_S11S21(file原创 2022-05-11 09:20:18 · 304 阅读 · 0 评论 -
pandas数据处理 之excel
# coding:utf-8# author :yuyang2@sensetime.com# function :根据excel和搜索desktop的文件名称和路径,自动生成json配置文件import reimport osimport jsonimport pandas as pd# 需要预先设置的路径pathReadExcel = 'C:\\yuyang2\\桌面\\桌面测试文件夹\\Desktop\\黄婷\\10个对标字节效果\\参数调整.xlsx' # 产品给的excel路径原创 2021-04-05 19:31:34 · 269 阅读 · 2 评论 -
Python数据处理并可视化
import reimport osimport sysimport timeimport numpy as npimport argparseimport matplotlib.pyplot as pltfrom ipywidgets import *%matplotlib inline'''安装依赖:pip install jupyter1、根目录文件下新建log文件夹(根目录文件夹路径可随意);2、将desktop生成的.txt日志文件重定向到log文件夹中,日志可追溯;3原创 2021-01-07 20:44:12 · 301 阅读 · 1 评论 -
图像处理 python 之数据增广 平移、镜像、旋转、拉伸、亮度(可摄像头实时采集)
# -*- coding: UTF-8 -*-import osimport cv2import timeimport datetimefrom diagnose_logging import Loggerfrom PIL import Imageimport numpy as np# 声明日志log = Logger('utils.py')logger = log.getlog()class batchCap(): ''' 从摄像头采集数据,默认采取100张原创 2020-12-31 09:25:51 · 1025 阅读 · 0 评论 -
Python之技巧
map对单个或多个可迭代对象并行运算,返回一个新的可迭代对象for i in map(lambda x,y:x+y, [1,2,3,4,5],[1,2,3,4,5]): #对单个或多个可迭代对象并行运算,返回一个新的可迭代对象 print(i,end=' ')list(map(lambda x,y:x+y, [1,2,3,4,5],[1,2,3,4,5]))批量提取字符串并转换类型a,b,c = map(int,"2020-11-26".split('-')) #批量提取字符串并转.原创 2020-12-27 17:09:33 · 131 阅读 · 0 评论 -
将log (txt)可视化为tensorboard图表(可训练加入)
log 可视化tensorboard图表文件tree如下:train 和val 分开显示from tensorboardX import SummaryWriterimport reimport numpy as npimport os, sys'''安装依赖:tensorboard,tensorboardX在yyq根目录输入:tensorboard --logdir=./runs/exp'''writer = SummaryWriter('./runs/exp',comm原创 2020-12-15 22:56:26 · 2890 阅读 · 2 评论 -
Matplotlib绘图知识
Matplotlib#encoding:utf-8import mathimport matplotlib.pyplot as pltimport numpy as npimport matplotlib as mplimport mpl_toolkits.axisartist as axisartist #引入axisartist工具。def sigmoid(x): re...原创 2020-11-09 14:31:49 · 156 阅读 · 0 评论 -
数据标签处理方法
剔除文本中的图片信息,此图片不在文件夹中#剔除文本中的图片信息,此图片不在文件夹中import osdict_str = {} #构造图片完备字典,key为图片名字,value为标签信息useless_img = []with open("./train.lst","r",encoding='utf-8') as f: for line in f: l...原创 2020-11-09 14:30:57 · 1538 阅读 · 0 评论 -
Numpy 操作trick
Numpy Trick1.扩张数组维度1.扩张数组维度s = 'yyyyy 112 113 114 115'anno = s.strip().split(" ")bbox = list(map(float,anno[1:]))boxes1 = np.array(bbox)[None] #单纯扩张维度boxes2 = np.array(bbox, dtype=np.float32).re...原创 2020-11-09 14:29:55 · 114 阅读 · 0 评论 -
性别年龄数据集制作
参考链接:性别年龄文献综述UTKFace的处理:''' MXNet lst rec idx 文件生成 [适合任意的标签数量,自定义生成最灵活合适] 1. lst文件自定义创建,格式: index label_1 label_n image_abs_path_name; eg: 0 ...原创 2020-11-09 14:29:27 · 689 阅读 · 0 评论 -
wsdl2java
wsdl2java_lib1. 软件资料2. 转换代码3. 运行1. 软件资料apache-cxf-3.3.4下载连接wsdl (第三方库):根据软件保存,添加windos系统环境变量path变量,值为apache-cxf-3.3.4的bin文件夹:E:\Java_hj\work\光传输网管\apache-cxf-3.3.4\bin2. 转换代码import osroo...原创 2019-12-17 14:55:15 · 284 阅读 · 0 评论