烂笔头
好记性,不如烂笔头。
一洛玉壶冰
千里之行,始于足下。
展开
-
异构数据库表结构复制(sqlserver-mysql)
【代码】异构数据库表结构复制(sqlserver-mysql)原创 2022-03-31 17:32:28 · 1378 阅读 · 0 评论 -
python 按比例分割数据集
用于yolov5训练。import osimport randomimages_path = '/data/my_set/images'train_percent = 0.8total_images = os.listdir(images_path)random.shuffle(total_images) #打乱列表顺序num = len(total_images)carve_num = int(num*train_percent)train = total_images[:ca原创 2021-06-16 17:48:11 · 2004 阅读 · 0 评论 -
python 调用sklearn.cluster.KMeans聚类
代码:import matplotlib.pyplot as pltimport numpy as npimport pandas as pdfrom sklearn.cluster import KMeansfilePath = 'F:/kdata.csv'data_csv = pd.read_csv(filePath)x = np.array(data_csv)[:,1:]t = list(data_csv.iloc[0:0])[1:] #获取列标题np.set_printop原创 2021-06-23 11:47:28 · 3211 阅读 · 0 评论 -
python 保存视频为图片
将dav格式视频转换为mp4,提取图片:import osimport shutilimport cv2import timevideo_path = 'F:/video2pic/dav'p_path = os.path.abspath(os.path.join(video_path, '..'))dirnames = ['h264','mp4','pic']def mk_dir(path): if not os.path.exists(path): os原创 2021-07-27 14:30:16 · 381 阅读 · 0 评论 -
python 递归遍历所有文件并复制
遍历文件,复制指定文件# -*- coding: utf-8 -*-"""递归遍历所有文件复制指定后缀文件"""import osimport shutilpaths = ['/data/ptest', '/data/ptest1'] # 原文件路径savePath = '/data/ptest2' # 目标路径postfix = ['.jpg', '.JPG', '.PNG', '.png', '.jpeg', '.JPEG'] # 指定文件后缀名if not os.p原创 2021-06-02 17:12:22 · 711 阅读 · 0 评论 -
python 按条件修改数组的值
yolov5输出的txt文件,修改classes序号。import osimport numpy as nppaths = '/data/runs/detect/exp/labels'filename = os.listdir(paths)savepath = '/data/my_set/labels'if not os.path.exists(savepath): os.makedirs(savepath) print('创建文件夹 ' + savepath)for原创 2021-06-16 14:51:21 · 1326 阅读 · 0 评论 -
python 文件移动
如题。import osimport shutilfil_path = '/data/jn01_set'ann_path = '/data/jn01_set/VOCdevkit/VOCjn01/Annotations'img_path = '/data/jn01_set/VOCdevkit/VOCjn01/imges'def mkdirs(path): if not os.path.exists(path): os.makedirs(path)mkdirs(a原创 2021-07-28 10:02:08 · 163 阅读 · 0 评论 -
datax写入greenplum,master节点日志爆炸
原因:greenplum有insert和copy两种写入方式,datax是insert方式写入,所有数据都会走master,而greenplum默认master所有操作记日志。解决方法:修改master节点postgresql.conf的log_statement值,示例vim /gpdb/opt/data/master/gpseg-1/postgresql.conflog_statement = 'none'gpstop -uinsert方式写入非常慢,master压力大。...原创 2021-12-29 18:05:22 · 967 阅读 · 0 评论 -
flink sql-client写入greenplum,INSERT INTO...ERROR:syntax error at or near “ON“
postgresql9.5版本才引入upsert,当前版本greenplum基于postgresql9.4.24(greenplum6.12.0)。原创 2021-12-29 21:34:08 · 1814 阅读 · 4 评论 -
E: 无法修正错误,因为您要求某些软件包保持现状,就是它们破坏了软件包间的依赖关系。
卸载mysql(彻底删除MySQL数据库)执行 sudo apt-get autoremove --purge mysql-apt-config 报错如下:下列软件包有未满足的依赖关系: libappstream3 : 依赖: libprotobuf-lite9v5 但无法安装它 依赖: libxapian22v5 但无法安装它E: 有未能满足的依赖关系。请尝试不指明软件包的名字来运行“apt --fix-broken install”(也可以指定一个解决办法原创 2021-08-03 15:46:46 · 1618 阅读 · 0 评论 -
MySQL8部署及使用 Ubuntu
获取下载地址(点击download>选择No thanks, just start my download.>复制链接)原创 2021-11-01 15:03:09 · 2884 阅读 · 2 评论 -
org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph
flink sql client提交作业报错:2021-10-21 15:23:54,232 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar2021-10-21原创 2021-10-21 15:39:00 · 5410 阅读 · 3 评论 -
kafka connect注册连接器,Error: Couldn‘t obtain database name
我搭建了一个kafka集群,kafka+debezium增量抽取sql server,创建链接报错:{"error_code":400,"message":"Connector configuration is invalid and contains the following 1 error(s):\nUnable to connect. Check this and other connection properties. Error: Couldn't obtain database name原创 2021-09-29 12:57:12 · 1354 阅读 · 0 评论 -
ubuntu无法解析域名“cn.archive.ubuntu.com“,修改DNS配置
系统:Ubuntu18.04错误:1 http://cn.archive.ubuntu.com/ubuntu focal InRelease 无法解析域名“cn.archive.ubuntu.com"............(1)临时解决方案sudo vim /etc/resolv.conf将127.0.0.53改成自己的ip(系统重启后又会变成默认值)# This file is managed by man:systemd-resolved(8). Do not edit原创 2021-08-10 10:01:13 · 7712 阅读 · 4 评论 -
pjreddie版darknet使用cudnn8和opencv4的方法
环境:Ubuntu20.04,RTX3090,CUDA11.2+Cudnn8.1,opencv4.2 https://github.com/pjreddie/darknet(1)修改Makefile文件GPU=1CUDNN=1OPENCV=1# 以下按自己的配置修改LDFLAGS+= `pkg-config --libs opencv4` -lstdc++COMMON+= `pkg-config --cflags opencv4` ARCH= -gencode arch=c.转载 2021-05-19 17:50:11 · 997 阅读 · 0 评论 -
yolo模型转换:pytorch -> onnx -> caffe
第一步:pytorch转onnx(pytorch版yolov3-9.0开始提供脚本export.py)(1)设置onnx算子版本(按需) 修改代码:torch.onnx.export(model, img, f, verbose=False, opset_version=12, input_names=['images'], 为:torch.onnx.export(model, img, f, verbose=True, opset_version=9, input_names=['im原创 2021-05-17 16:00:08 · 4862 阅读 · 15 评论 -
caffe编译安装,关于opencv4的问题
环境:Ubuntu20.04,cudnn8.1.1.33-1+cuda11.2,opencv4.2caffe编译安装 https://github.com/BVLC/caffe注:caffe只支持到cudnn7.x,我鼓捣了一阵(直接把cudnn相关文件换掉,解决了一部分问题),放弃使用cudnn。https://github.com/BVLC/caffe/issues/6970(1)安装依赖包sudo apt-get install libprotobuf-dev liblevel.原创 2021-05-14 12:33:18 · 1326 阅读 · 1 评论 -
模块路径问题:ModuleNotFoundError: No module named ‘utils‘
把模块路径加入path中:import syssys.path.append('./')当我们导入一个模块时:import xxx,默认情况下python解析器会搜索当前目录、已安装的内置模块和第三方模块,搜索路径存放在sys模块的path中。我的utils文件夹就在当前目录下,不知道为啥也报错,把当前路径加到path中才好的。头疼,菜!...原创 2021-05-10 17:45:41 · 4586 阅读 · 0 评论 -
python虚拟环境,快速部署superset
环境:Ubuntu20.04参考文献:https://superset.apache.org/docs/installation/installing-superset-from-scratch1. 安装依赖sudo apt-get install build-essential libssl-dev libffi-dev python3-dev python3-pip libsasl2-dev libldap2-dev2. 创建虚拟环境要求python版本不低于3.6,若不满足条件,原创 2021-05-07 18:00:38 · 506 阅读 · 0 评论 -
百度网盘—目标检测数据集(MS COCO/CCPD/UA-DETRAC)
地址:https://pan.baidu.com/s/1p3wINwRsI4bRz0h54xwufQ提取码:sma2 持续更新...原创 2021-04-25 10:30:47 · 3108 阅读 · 12 评论 -
darknet_yolov3编译报错
显卡配置:GeForce RTX 3090,CUDA Version: 11.2Makefile配置:GPU=1 CUDNN=1 OPENCV=1make 报错nvcc fatal : Unsupported gpu architecture 'compute_30' Makefile:168: recipe for target 'obj/convolutional_kernels.o' failed删除第18行:-gencode arch=compute_30,code=sm_3..原创 2021-04-23 17:32:26 · 420 阅读 · 0 评论 -
PostgreSQL使用引号问题
今天执行sql一直提示:schema "xxx" does not exist,原因是在别名中使用了单引号...PostgreSQL 用单引号(')表示值,双引号(")表示系统标识符,比如表名或者字段名。原创 2021-04-01 14:30:00 · 2081 阅读 · 0 评论 -
ubun更改默认python,配置jupyter
查看系统所有pythonls /usr/bin/python*查看默认pythonpython --version只修改当前用户vim ~/.bashrc#修改默认python版本alias python='/usr/bin/python3.6'系统级修改#删除默认软链接sudo rm /usr/bin/python#创建新软链接指向需要的版本sudo ln -s /usr/bin/python3.6 /usr/bin/python安装pip#安装原创 2021-03-25 23:18:59 · 595 阅读 · 0 评论 -
Ubuntu恢复官方默认源
国内云服务器基本配的自家源,有时候需要换回官方源。备份现役源:sudo cp /etc/apt/sources.lst /etc/apt/sources.list_tenxun修改sources.list配置文件:sudo vim /etc/apt/sources.list官方源sources.list文件内容:#deb cdrom:[Ubuntu 20.04 LTS _Focal Fossa_ - Release amd64 (20200423)]/ focal main .原创 2021-03-24 23:43:16 · 34032 阅读 · 8 评论 -
Anaconda自带的Spyder启动太慢
系统:Windows10问题:Spyder挺好用,但启动至少要30秒以上解决方法:命令行执行以下命令spyder --reset原创 2021-03-19 16:26:06 · 941 阅读 · 0 评论 -
sqlserver和greenplum毫秒时间戳
用kettle把order表从sqlserver抽取到greenplum,目标表是appendonly模式,故不能使用时间回滚; postgres中timestamp时间和sqlserver中datetime时间无法直接进行逻辑运算,故均转换为unix时间戳; sqlserver时间戳没有小数(毫秒)部分,如果只精确到秒,增量插入时会漏掉部分数据或重复插入,故要计算毫秒部分;-- postgresselectdate_part('epoch',TIMESTAMP '2021-03-03 15:2原创 2021-03-03 16:55:28 · 932 阅读 · 1 评论 -
sqlserver提示dateadd日期部分不支持秒
函数DATEADD(datepart,number,date),datepart精度不能小于date;例:end_time 类型为datecast(dateadd(s,86399,end_time) as datetime)-- 报错:dateadd日期部分不支持second,精度大于day都不支持,执行时才会报错。dateadd(s,86399,cast(end_time as datetime))-- 成功执行...原创 2021-03-02 15:09:20 · 658 阅读 · 0 评论 -
Kettle定时任务脚本参数详情
job脚本:D:cd D:\data-integration kitchen -rep repname -user username -pass passwd -dir /dirname -job jobname -level=basic>>D:\kettle_log\logname.logtransformation脚本:D:cd D:\data-integration pan -rep repname -user username -pass原创 2021-03-02 11:18:17 · 443 阅读 · 0 评论 -
pytorch+yolov5+deepsort训练报错RuntimeError: “unfolded2d_copy“ not implemented for ‘Half‘
原因:CPU训练,不支持半精度数解决方法:将检测模块中的.half()全部改成.float()参考资料:https://blog.csdn.net/hxx123520/article/details/112562930原创 2021-02-25 18:10:04 · 8114 阅读 · 10 评论 -
【Linux】sudo和su命令
sudo + 命令 --root权限执行,当前用户要有sudo权限sudo passwd root --修改root密码sudo passwd --修改当前用户密码su username --切换用户,不携带环境变量,不指定username则切换到rootsu - username --切换用户,不指定username则切换到root...原创 2021-02-25 13:14:26 · 103 阅读 · 0 评论 -
去掉windows快捷方式小箭头
@echo off color 2 reg delete HKCR\lnkfile /v IsShortcut /f reg delete HKCR\piffile /v IsShortcut /f reg delete HKCR\InternetShortcut /v IsShortcut /f taskkill /f /im explorer.exe && explorer原创 2021-01-13 11:14:56 · 113 阅读 · 0 评论 -
shutdown.bat无法关闭tomcat
问题:使用脚本定时重启tomcat,调用了bin目录下的shutdown.bat,发现关不掉tomcat...方案:通过tomcat端口号查找进程,杀死tomcat相关进程,启动tomcat@echo off & setlocal EnableDelayedExpansiontitle 重启tomcatfor %%a in (8080,8443,8009) do ( set pid=0 for /f "tokens=2,5" %%b in ('netstat -an原创 2021-01-13 11:05:22 · 2061 阅读 · 2 评论 -
[kettle] 一个数据库错误发生在从资源库文件读取转换时...Invalid byte 1 of 1-byte UTF-8 sequence
背景:之前在windows server 2008 R2 上部署kettle,由于ie浏览器内核版本太低导致connect白屏,升级ie后先后测试了kettle7、kettle8、kettle9,都能正常使用,就使用的kettle9。问题1:新建转换保存后无法打开,错误提示:一个数据库错误发生在从资源库文件读取转换时...Invalid byte 1 of 1-byte UTF-8 sequence问题2:打开已有转换后无法运行,错误提示:一个数据库错误发生在从资源库文件读取转换时...,但调试没问原创 2021-01-04 18:16:21 · 2084 阅读 · 1 评论 -
设置多个端口访问同一tomcat多个应用
tomcat版本:9.0.0.0-423需求:通过8080端口访问webapps中的项目,通过8090端口访问webapps1中的项目方法:在conf/server.xml文件增加service节点以下是service节点(tomcat默认配置,已删除注释) <Service name="Catalina"> <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="原创 2021-01-04 17:15:52 · 279 阅读 · 0 评论 -
基于centos的GreenPlum集群搭建超详细记录!
一、安装说明1.1 软件版本名称 版本 操作系统 CentOS Linux release 8.0.1905 (Core) GreenPlum 6.12.0 1.2 集群介绍使用1个master,n个segment的集群示例:服务器IP地址 节点名称 198.163.0.110 gp-master 198.163.0.111 gp-sdw1 198.163.0.112 gp-sdw2 198.163.0.113 gp原创 2020-12-23 19:07:16 · 1036 阅读 · 0 评论 -
kettle点击connect空白
今天在windows server上部署kettle,执行spoon.bat,在欢迎页提示浏览器不支持,点击connect后空白无任何内容。原因及解决方案:浏览器内核版本过低,升级浏览器后解决问题。windows server 2008默认浏览器是ie8,很多解决方案提到将浏览器升级到ie11,实测升级到ie9即可正常connect连接资源库。ie9及kettle7.1,kettle8.2,kettle9.0安装包 链接:https://pan.baidu.com/s/1P8XT9IgzNMr.原创 2020-12-11 17:00:11 · 2633 阅读 · 0 评论 -
部署tomcat遇到的一些问题
目录jdk8安装问题 问题1:打开安装包,点击下一步,直接闪退,没有任何报错提示 问题2:安装并配置好环境变量后命令行执行java -version或javac报错“Error occurred during initialization of VM” 问题3:安装完成后命令行执行java正常,执行javac中文乱码,执行javap中文乱码tomcat9安装问题 问题1:启动tomcat,命令行/日志乱码mysql8安装问题 问题1:执行mysqld --initi...原创 2020-09-24 00:59:06 · 167 阅读 · 0 评论