自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(45)
  • 收藏
  • 关注

原创 异构数据库表结构复制(sqlserver-mysql)

【代码】异构数据库表结构复制(sqlserver-mysql)

2022-03-31 17:32:28 1365

原创 八、Flink数据同步任务(mssql-flink-mysql)

# -*- coding: utf-8 -*-from pyflink.table import EnvironmentSettings, TableEnvironmentimport pymssqlimport pandas as pdenv_settings = EnvironmentSettings.new_instance().in_streaming_mode().use_blink_planner().buil

2022-03-31 17:19:53 4258 2

原创 六、Flink高可用部署

(1)下载安装包并解压到指定目录(2)修改配置文件,添加必要依赖(3)分发到其他节点,配置环境变量以dataxc用户为例,脚本示例如下:#!/bin/bash# flink.shnodes=(n101 n102 n103)zk_connect='n101:2181,n102:2181,n103:2181'#解压flink到程序目录cd /home/dataxc/sw && tar -zxvf flink-1.13.5-bin-scala_2.12.tgz -C

2022-03-29 17:53:45 1882

原创 五、Hadoop高可用部署

(1)下载安装包并解压到指定目录(2)修改配置文件,并添加必要变量(3)分发到其他节点,配置环境变量以dataxc用户为例,脚本示例如下:#!/bin/bash# hadoop.shnodes=(n101 n102 n103)#集群地址zk_connect='n101:2181,n102:2181,n103:2181'hdns='n101:8485;n102:8485;n103:8485'#解压hadoop到程序目录cd /home/dataxc/sw &&amp

2022-03-29 17:45:05 1507

原创 四、Kafka + Debezium 集群部署

(1)下载Kafka安装包并解压到指定目录(2)修改配置文件,分配broker.id(3)复制到其他节点,配置环境变量(4)创建Kafka插件目录,解压debezium插件到插件目录(5)修改配置文件,复制到其他节点以dataxc用户为例,脚本示例如下:#!/bin/bash# kafka.sh# ---部署kafka集群---nodes=(n101 n102 n103)zk_connect='n101:2181,n102:2181,n103:2181'#解压kafk

2022-03-29 17:36:00 2933

原创 三、zookeeper-3.7 集群部署

(1)下载安装包并解压到指定目录(2)修改配置文件,分配ServerID、创建数据/文件目录(3)添加环境变量以dataxc用户为例,脚本示例如下:#!/bin/bash# zk.shnodes=(n101 n102 n103)#将zookeeper安装包解压到程序目录cd /home/dataxc/sw && tar zxvf apache-zookeeper-3.7.0-bin.tar.gz -C /home/dataxc/optcd /home/data

2022-03-29 17:24:11 1815

原创 二、JDK安装与变量配置

(1)下载并解压JDK包到指定目录(2)配置环境变量以dataxc用户为例,脚本示例如下:#!/bin/bash# jdk.sh#安装jdk前,先查看已安装jdk版本,卸载不需要的版本nodes=(n100 n101 n102 n103)#创建程序目录function f_mkdir(){if [ ! -d /home/dataxc/opt ];then mkdir /home/dataxc/optelse echo dir existfi}f_mkdir#

2022-03-29 17:15:00 1377

原创 flink sql-client写入greenplum,INSERT INTO...ERROR:syntax error at or near “ON“

postgresql9.5版本才引入upsert,当前版本greenplum基于postgresql9.4.24(greenplum6.12.0)。

2021-12-29 21:34:08 1793 4

原创 datax写入greenplum,master节点日志爆炸

原因:greenplum有insert和copy两种写入方式,datax是insert方式写入,所有数据都会走master,而greenplum默认master所有操作记日志。解决方法:修改master节点postgresql.conf的log_statement值,示例vim /gpdb/opt/data/master/gpseg-1/postgresql.conflog_statement = 'none'gpstop -uinsert方式写入非常慢,master压力大。...

2021-12-29 18:05:22 954

原创 七、SqlServer数据库,批量开启表cdc

启用/禁用数据库cdc# 查看已启用cdc的数据库SELECT name,is_cdc_enabled FROM sys.databases WHERE is_cdc_enabled = 1;# 启用数据库cdcEXECUTE sys.sp_cdc_enable_db;#禁用数据库cdcEXECUTE sys.sp_cdc_disable_db;启用/禁用表cdc#查看已开启cdc的表SELECT name,is_tracked_by_cdc FROM sys.tables

2021-12-29 16:35:58 1741

原创 MySQL8部署及使用 Ubuntu

获取下载地址(点击download>选择No thanks, just start my download.>复制链接)

2021-11-01 15:03:09 2877 2

原创 org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph

flink sql client提交作业报错:2021-10-21 15:23:54,232 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar2021-10-21

2021-10-21 15:39:00 5337 3

原创 kafka connect注册连接器,Error: Couldn‘t obtain database name

我搭建了一个kafka集群,kafka+debezium增量抽取sql server,创建链接报错:{"error_code":400,"message":"Connector configuration is invalid and contains the following 1 error(s):\nUnable to connect. Check this and other connection properties. Error: Couldn't obtain database name

2021-09-29 12:57:12 1321

原创 一、SSH免密配置

(1)生成密钥(2)将中控机的密钥复制到所有节点(实现中控机访问所有节点)(3)若要实现所有节点相互免密,将含有所有节点公钥的文件复制到所有节点以dataxc用户为例,脚本示例如下:#!/bin/bash# passwdless.sh#安装expect,用于自动交互任务sudo apt-get install -y expect#要设置免密登录的节点,177为中控机(本机)nodes=(192.168.10.177 192.168.10.225 192.168.10.226

2021-08-30 16:22:43 593

原创 ubuntu无法解析域名“cn.archive.ubuntu.com“,修改DNS配置

系统:Ubuntu18.04错误:1 http://cn.archive.ubuntu.com/ubuntu focal InRelease 无法解析域名“cn.archive.ubuntu.com"............(1)临时解决方案sudo vim /etc/resolv.conf将127.0.0.53改成自己的ip(系统重启后又会变成默认值)# This file is managed by man:systemd-resolved(8). Do not edit

2021-08-10 10:01:13 7295 4

原创 E: 无法修正错误,因为您要求某些软件包保持现状,就是它们破坏了软件包间的依赖关系。

卸载mysql(彻底删除MySQL数据库)执行 sudo apt-get autoremove --purge mysql-apt-config 报错如下:下列软件包有未满足的依赖关系: libappstream3 : 依赖: libprotobuf-lite9v5 但无法安装它 依赖: libxapian22v5 但无法安装它E: 有未能满足的依赖关系。请尝试不指明软件包的名字来运行“apt --fix-broken install”(也可以指定一个解决办法

2021-08-03 15:46:46 1591

原创 python 文件移动

如题。import osimport shutilfil_path = '/data/jn01_set'ann_path = '/data/jn01_set/VOCdevkit/VOCjn01/Annotations'img_path = '/data/jn01_set/VOCdevkit/VOCjn01/imges'def mkdirs(path): if not os.path.exists(path): os.makedirs(path)mkdirs(a

2021-07-28 10:02:08 158

原创 python 保存视频为图片

将dav格式视频转换为mp4,提取图片:import osimport shutilimport cv2import timevideo_path = 'F:/video2pic/dav'p_path = os.path.abspath(os.path.join(video_path, '..'))dirnames = ['h264','mp4','pic']def mk_dir(path): if not os.path.exists(path): os

2021-07-27 14:30:16 372

原创 python 调用sklearn.cluster.KMeans聚类

代码:import matplotlib.pyplot as pltimport numpy as npimport pandas as pdfrom sklearn.cluster import KMeansfilePath = 'F:/kdata.csv'data_csv = pd.read_csv(filePath)x = np.array(data_csv)[:,1:]t = list(data_csv.iloc[0:0])[1:] #获取列标题np.set_printop

2021-06-23 11:47:28 3196

原创 python 按比例分割数据集

用于yolov5训练。import osimport randomimages_path = '/data/my_set/images'train_percent = 0.8total_images = os.listdir(images_path)random.shuffle(total_images) #打乱列表顺序num = len(total_images)carve_num = int(num*train_percent)train = total_images[:ca

2021-06-16 17:48:11 1982

原创 python 按条件修改数组的值

yolov5输出的txt文件,修改classes序号。import osimport numpy as nppaths = '/data/runs/detect/exp/labels'filename = os.listdir(paths)savepath = '/data/my_set/labels'if not os.path.exists(savepath): os.makedirs(savepath) print('创建文件夹 ' + savepath)for

2021-06-16 14:51:21 1322

原创 python 递归遍历所有文件并复制

遍历文件,复制指定文件# -*- coding: utf-8 -*-"""递归遍历所有文件复制指定后缀文件"""import osimport shutilpaths = ['/data/ptest', '/data/ptest1'] # 原文件路径savePath = '/data/ptest2' # 目标路径postfix = ['.jpg', '.JPG', '.PNG', '.png', '.jpeg', '.JPEG'] # 指定文件后缀名if not os.p

2021-06-02 17:12:22 702

转载 pjreddie版darknet使用cudnn8和opencv4的方法

环境:Ubuntu20.04,RTX3090,CUDA11.2+Cudnn8.1,opencv4.2 https://github.com/pjreddie/darknet(1)修改Makefile文件GPU=1CUDNN=1OPENCV=1# 以下按自己的配置修改LDFLAGS+= `pkg-config --libs opencv4` -lstdc++COMMON+= `pkg-config --cflags opencv4` ARCH= -gencode arch=c.

2021-05-19 17:50:11 990

原创 yolo模型转换:pytorch -> onnx -> caffe

第一步:pytorch转onnx(pytorch版yolov3-9.0开始提供脚本export.py)(1)设置onnx算子版本(按需) 修改代码:torch.onnx.export(model, img, f, verbose=False, opset_version=12, input_names=['images'], 为:torch.onnx.export(model, img, f, verbose=True, opset_version=9, input_names=['im

2021-05-17 16:00:08 4804 15

原创 caffe编译安装,关于opencv4的问题

环境:Ubuntu20.04,cudnn8.1.1.33-1+cuda11.2,opencv4.2caffe编译安装 https://github.com/BVLC/caffe注:caffe只支持到cudnn7.x,我鼓捣了一阵(直接把cudnn相关文件换掉,解决了一部分问题),放弃使用cudnn。https://github.com/BVLC/caffe/issues/6970(1)安装依赖包sudo apt-get install libprotobuf-dev liblevel.

2021-05-14 12:33:18 1313 1

原创 模块路径问题:ModuleNotFoundError: No module named ‘utils‘

把模块路径加入path中:import syssys.path.append('./')当我们导入一个模块时:import xxx,默认情况下python解析器会搜索当前目录、已安装的内置模块和第三方模块,搜索路径存放在sys模块的path中。我的utils文件夹就在当前目录下,不知道为啥也报错,把当前路径加到path中才好的。头疼,菜!...

2021-05-10 17:45:41 4579

原创 python虚拟环境,快速部署superset

环境:Ubuntu20.04参考文献:https://superset.apache.org/docs/installation/installing-superset-from-scratch1. 安装依赖sudo apt-get install build-essential libssl-dev libffi-dev python3-dev python3-pip libsasl2-dev libldap2-dev2. 创建虚拟环境要求python版本不低于3.6,若不满足条件,

2021-05-07 18:00:38 496

原创 百度网盘—目标检测数据集(MS COCO/CCPD/UA-DETRAC)

地址:https://pan.baidu.com/s/1p3wINwRsI4bRz0h54xwufQ提取码:sma2 持续更新...

2021-04-25 10:30:47 3024 12

原创 darknet_yolov3编译报错

显卡配置:GeForce RTX 3090,CUDA Version: 11.2Makefile配置:GPU=1 CUDNN=1 OPENCV=1make 报错nvcc fatal : Unsupported gpu architecture 'compute_30' Makefile:168: recipe for target 'obj/convolutional_kernels.o' failed删除第18行:-gencode arch=compute_30,code=sm_3..

2021-04-23 17:32:26 415

原创 PostgreSQL使用引号问题

今天执行sql一直提示:schema "xxx" does not exist,原因是在别名中使用了单引号...PostgreSQL 用单引号(')表示值,双引号(")表示系统标识符,比如表名或者字段名。

2021-04-01 14:30:00 2058

原创 ubun更改默认python,配置jupyter

查看系统所有pythonls /usr/bin/python*查看默认pythonpython --version只修改当前用户vim ~/.bashrc#修改默认python版本alias python='/usr/bin/python3.6'系统级修改#删除默认软链接sudo rm /usr/bin/python#创建新软链接指向需要的版本sudo ln -s /usr/bin/python3.6 /usr/bin/python安装pip#安装

2021-03-25 23:18:59 591

原创 Ubuntu恢复官方默认源

国内云服务器基本配的自家源,有时候需要换回官方源。备份现役源:sudo cp /etc/apt/sources.lst /etc/apt/sources.list_tenxun修改sources.list配置文件:sudo vim /etc/apt/sources.list官方源sources.list文件内容:#deb cdrom:[Ubuntu 20.04 LTS _Focal Fossa_ - Release amd64 (20200423)]/ focal main .

2021-03-24 23:43:16 33141 8

原创 Anaconda自带的Spyder启动太慢

系统:Windows10问题:Spyder挺好用,但启动至少要30秒以上解决方法:命令行执行以下命令spyder --reset

2021-03-19 16:26:06 930

原创 sqlserver和greenplum毫秒时间戳

用kettle把order表从sqlserver抽取到greenplum,目标表是appendonly模式,故不能使用时间回滚; postgres中timestamp时间和sqlserver中datetime时间无法直接进行逻辑运算,故均转换为unix时间戳; sqlserver时间戳没有小数(毫秒)部分,如果只精确到秒,增量插入时会漏掉部分数据或重复插入,故要计算毫秒部分;-- postgresselectdate_part('epoch',TIMESTAMP '2021-03-03 15:2

2021-03-03 16:55:28 909 1

原创 sqlserver提示dateadd日期部分不支持秒

函数DATEADD(datepart,number,date),datepart精度不能小于date;例:end_time 类型为datecast(dateadd(s,86399,end_time) as datetime)-- 报错:dateadd日期部分不支持second,精度大于day都不支持,执行时才会报错。dateadd(s,86399,cast(end_time as datetime))-- 成功执行...

2021-03-02 15:09:20 638

原创 Kettle定时任务脚本参数详情

job脚本:D:cd D:\data-integration kitchen -rep repname -user username -pass passwd -dir /dirname -job jobname -level=basic>>D:\kettle_log\logname.logtransformation脚本:D:cd D:\data-integration pan -rep repname -user username -pass

2021-03-02 11:18:17 440

原创 pytorch+yolov5+deepsort训练报错RuntimeError: “unfolded2d_copy“ not implemented for ‘Half‘

原因:CPU训练,不支持半精度数解决方法:将检测模块中的.half()全部改成.float()参考资料:https://blog.csdn.net/hxx123520/article/details/112562930

2021-02-25 18:10:04 8083 10

原创 【Linux】sudo和su命令

sudo + 命令 --root权限执行,当前用户要有sudo权限sudo passwd root --修改root密码sudo passwd --修改当前用户密码su username --切换用户,不携带环境变量,不指定username则切换到rootsu - username --切换用户,不指定username则切换到root...

2021-02-25 13:14:26 98

原创 去掉windows快捷方式小箭头

@echo off  color 2  reg delete HKCR\lnkfile /v IsShortcut /f  reg delete HKCR\piffile /v IsShortcut /f  reg delete HKCR\InternetShortcut /v IsShortcut /f  taskkill /f /im explorer.exe && explorer

2021-01-13 11:14:56 105

原创 shutdown.bat无法关闭tomcat

问题:使用脚本定时重启tomcat,调用了bin目录下的shutdown.bat,发现关不掉tomcat...方案:通过tomcat端口号查找进程,杀死tomcat相关进程,启动tomcat@echo off & setlocal EnableDelayedExpansiontitle 重启tomcatfor %%a in (8080,8443,8009) do ( set pid=0 for /f "tokens=2,5" %%b in ('netstat -an

2021-01-13 11:05:22 2043 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除