- 博客(45)
- 收藏
- 关注
RSS订阅原创 八、Flink数据同步任务（mssql-flink-mysql)
# -*- coding: utf-8 -*-from pyflink.table import EnvironmentSettings, TableEnvironmentimport pymssqlimport pandas as pdenv_settings = EnvironmentSettings.new_instance().in_streaming_mode().use_blink_planner().buil
2022-03-31 17:19:53
4286
2
原创 六、Flink高可用部署
（1）下载安装包并解压到指定目录（2）修改配置文件，添加必要依赖（3）分发到其他节点，配置环境变量以dataxc用户为例，脚本示例如下：#!/bin/bash# flink.shnodes=(n101 n102 n103)zk_connect='n101:2181,n102:2181,n103:2181'#解压flink到程序目录cd /home/dataxc/sw && tar -zxvf flink-1.13.5-bin-scala_2.12.tgz -C
2022-03-29 17:53:45
1925
原创 五、Hadoop高可用部署
（1）下载安装包并解压到指定目录（2）修改配置文件，并添加必要变量（3）分发到其他节点，配置环境变量以dataxc用户为例，脚本示例如下：#!/bin/bash# hadoop.shnodes=(n101 n102 n103)#集群地址zk_connect='n101:2181,n102:2181,n103:2181'hdns='n101:8485;n102:8485;n103:8485'#解压hadoop到程序目录cd /home/dataxc/sw &&
2022-03-29 17:45:05
1524
原创 四、Kafka + Debezium 集群部署
（1）下载Kafka安装包并解压到指定目录（2）修改配置文件，分配broker.id（3）复制到其他节点，配置环境变量（4）创建Kafka插件目录，解压debezium插件到插件目录（5）修改配置文件，复制到其他节点以dataxc用户为例，脚本示例如下：#!/bin/bash# kafka.sh# ---部署kafka集群---nodes=(n101 n102 n103)zk_connect='n101:2181,n102:2181,n103:2181'#解压kafk
2022-03-29 17:36:00
2994
原创 三、zookeeper-3.7 集群部署
（1）下载安装包并解压到指定目录（2）修改配置文件，分配ServerID、创建数据/文件目录（3）添加环境变量以dataxc用户为例，脚本示例如下：#!/bin/bash# zk.shnodes=(n101 n102 n103)#将zookeeper安装包解压到程序目录cd /home/dataxc/sw && tar zxvf apache-zookeeper-3.7.0-bin.tar.gz -C /home/dataxc/optcd /home/data
2022-03-29 17:24:11
1835
原创 二、JDK安装与变量配置
（1）下载并解压JDK包到指定目录（2）配置环境变量以dataxc用户为例，脚本示例如下：#!/bin/bash# jdk.sh#安装jdk前，先查看已安装jdk版本，卸载不需要的版本nodes=(n100 n101 n102 n103)#创建程序目录function f_mkdir(){if [ ! -d /home/dataxc/opt ];then mkdir /home/dataxc/optelse echo dir existfi}f_mkdir#
2022-03-29 17:15:00
1394
原创 flink sql-client写入greenplum，INSERT INTO...ERROR：syntax error at or near “ON“
postgresql9.5版本才引入upsert，当前版本greenplum基于postgresql9.4.24（greenplum6.12.0）。
2021-12-29 21:34:08
1839
4
原创 datax写入greenplum，master节点日志爆炸
原因：greenplum有insert和copy两种写入方式，datax是insert方式写入，所有数据都会走master，而greenplum默认master所有操作记日志。解决方法：修改master节点postgresql.conf的log_statement值，示例vim /gpdb/opt/data/master/gpseg-1/postgresql.conflog_statement = 'none'gpstop -uinsert方式写入非常慢，master压力大。...
2021-12-29 18:05:22
1017
原创 七、SqlServer数据库，批量开启表cdc
启用/禁用数据库cdc# 查看已启用cdc的数据库SELECT name,is_cdc_enabled FROM sys.databases WHERE is_cdc_enabled = 1;# 启用数据库cdcEXECUTE sys.sp_cdc_enable_db;#禁用数据库cdcEXECUTE sys.sp_cdc_disable_db;启用/禁用表cdc#查看已开启cdc的表SELECT name,is_tracked_by_cdc FROM sys.tables
2021-12-29 16:35:58
1810
原创 MySQL8部署及使用 Ubuntu
获取下载地址（点击download>选择No thanks, just start my download.>复制链接）
2021-11-01 15:03:09
2901
2
原创 org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph
flink sql client提交作业报错：2021-10-21 15:23:54,232 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar2021-10-21
2021-10-21 15:39:00
5497
3
原创 kafka connect注册连接器，Error: Couldn‘t obtain database name
我搭建了一个kafka集群，kafka+debezium增量抽取sql server，创建链接报错：{"error_code":400,"message":"Connector configuration is invalid and contains the following 1 error(s):\nUnable to connect. Check this and other connection properties. Error: Couldn't obtain database name
2021-09-29 12:57:12
1413
原创 一、SSH免密配置
（1）生成密钥（2）将中控机的密钥复制到所有节点（实现中控机访问所有节点）（3）若要实现所有节点相互免密，将含有所有节点公钥的文件复制到所有节点以dataxc用户为例，脚本示例如下：#!/bin/bash# passwdless.sh#安装expect,用于自动交互任务sudo apt-get install -y expect#要设置免密登录的节点，177为中控机(本机)nodes=(192.168.10.177 192.168.10.225 192.168.10.226
2021-08-30 16:22:43
648
原创 ubuntu无法解析域名“cn.archive.ubuntu.com“，修改DNS配置
系统：Ubuntu18.04错误:1 http://cn.archive.ubuntu.com/ubuntu focal InRelease 无法解析域名“cn.archive.ubuntu.com"............（1）临时解决方案sudo vim /etc/resolv.conf将127.0.0.53改成自己的ip（系统重启后又会变成默认值）# This file is managed by man:systemd-resolved(8). Do not edit
2021-08-10 10:01:13
8056
4
原创 E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。
卸载mysql（彻底删除MySQL数据库）执行 sudo apt-get autoremove --purge mysql-apt-config 报错如下：下列软件包有未满足的依赖关系： libappstream3 : 依赖: libprotobuf-lite9v5 但无法安装它 依赖: libxapian22v5 但无法安装它E: 有未能满足的依赖关系。请尝试不指明软件包的名字来运行“apt --fix-broken install”(也可以指定一个解决办法
2021-08-03 15:46:46
1692
原创 python 文件移动
如题。import osimport shutilfil_path = '/data/jn01_set'ann_path = '/data/jn01_set/VOCdevkit/VOCjn01/Annotations'img_path = '/data/jn01_set/VOCdevkit/VOCjn01/imges'def mkdirs(path): if not os.path.exists(path): os.makedirs(path)mkdirs(a
2021-07-28 10:02:08
168
原创 python 保存视频为图片
将dav格式视频转换为mp4，提取图片：import osimport shutilimport cv2import timevideo_path = 'F:/video2pic/dav'p_path = os.path.abspath(os.path.join(video_path, '..'))dirnames = ['h264','mp4','pic']def mk_dir(path): if not os.path.exists(path): os
2021-07-27 14:30:16
400
原创 python 调用sklearn.cluster.KMeans聚类
代码：import matplotlib.pyplot as pltimport numpy as npimport pandas as pdfrom sklearn.cluster import KMeansfilePath = 'F:/kdata.csv'data_csv = pd.read_csv(filePath)x = np.array(data_csv)[:,1:]t = list(data_csv.iloc[0:0])[1:] #获取列标题np.set_printop
2021-06-23 11:47:28
3244
原创 python 按比例分割数据集
用于yolov5训练。import osimport randomimages_path = '/data/my_set/images'train_percent = 0.8total_images = os.listdir(images_path)random.shuffle(total_images) #打乱列表顺序num = len(total_images)carve_num = int(num*train_percent)train = total_images[:ca
2021-06-16 17:48:11
2044
原创 python 按条件修改数组的值
yolov5输出的txt文件，修改classes序号。import osimport numpy as nppaths = '/data/runs/detect/exp/labels'filename = os.listdir(paths)savepath = '/data/my_set/labels'if not os.path.exists(savepath): os.makedirs(savepath) print('创建文件夹 ' + savepath)for
2021-06-16 14:51:21
1341
原创 python 递归遍历所有文件并复制
遍历文件，复制指定文件# -*- coding: utf-8 -*-"""递归遍历所有文件复制指定后缀文件"""import osimport shutilpaths = ['/data/ptest', '/data/ptest1'] # 原文件路径savePath = '/data/ptest2' # 目标路径postfix = ['.jpg', '.JPG', '.PNG', '.png', '.jpeg', '.JPEG'] # 指定文件后缀名if not os.p
2021-06-02 17:12:22
732
转载 pjreddie版darknet使用cudnn8和opencv4的方法
环境：Ubuntu20.04，RTX3090，CUDA11.2+Cudnn8.1，opencv4.2 https://github.com/pjreddie/darknet（1）修改Makefile文件GPU=1CUDNN=1OPENCV=1# 以下按自己的配置修改LDFLAGS+= `pkg-config --libs opencv4` -lstdc++COMMON+= `pkg-config --cflags opencv4` ARCH= -gencode arch=c.
2021-05-19 17:50:11
1012
原创 yolo模型转换：pytorch -＞ onnx -＞ caffe
第一步：pytorch转onnx（pytorch版yolov3-9.0开始提供脚本export.py）（1）设置onnx算子版本（按需） 修改代码：torch.onnx.export(model, img, f, verbose=False, opset_version=12, input_names=['images'], 为：torch.onnx.export(model, img, f, verbose=True, opset_version=9, input_names=['im
2021-05-17 16:00:08
4979
15
原创 caffe编译安装，关于opencv4的问题
环境：Ubuntu20.04，cudnn8.1.1.33-1+cuda11.2，opencv4.2caffe编译安装 https://github.com/BVLC/caffe注：caffe只支持到cudnn7.x，我鼓捣了一阵（直接把cudnn相关文件换掉，解决了一部分问题），放弃使用cudnn。https://github.com/BVLC/caffe/issues/6970（1）安装依赖包sudo apt-get install libprotobuf-dev liblevel.
2021-05-14 12:33:18
1376
1
原创 模块路径问题：ModuleNotFoundError: No module named ‘utils‘
把模块路径加入path中：import syssys.path.append('./')当我们导入一个模块时：import xxx，默认情况下python解析器会搜索当前目录、已安装的内置模块和第三方模块，搜索路径存放在sys模块的path中。我的utils文件夹就在当前目录下，不知道为啥也报错，把当前路径加到path中才好的。头疼，菜！...
2021-05-10 17:45:41
4625
原创 python虚拟环境，快速部署superset
环境：Ubuntu20.04参考文献：https://superset.apache.org/docs/installation/installing-superset-from-scratch1. 安装依赖sudo apt-get install build-essential libssl-dev libffi-dev python3-dev python3-pip libsasl2-dev libldap2-dev2. 创建虚拟环境要求python版本不低于3.6，若不满足条件，
2021-05-07 18:00:38
526
原创 百度网盘—目标检测数据集（MS COCO/CCPD/UA-DETRAC）
地址：https://pan.baidu.com/s/1p3wINwRsI4bRz0h54xwufQ提取码：sma2 持续更新...
2021-04-25 10:30:47
3343
13
原创 darknet_yolov3编译报错
显卡配置：GeForce RTX 3090，CUDA Version: 11.2Makefile配置：GPU=1 CUDNN=1 OPENCV=1make 报错nvcc fatal : Unsupported gpu architecture 'compute_30' Makefile:168: recipe for target 'obj/convolutional_kernels.o' failed删除第18行：-gencode arch=compute_30,code=sm_3..
2021-04-23 17:32:26
433
原创 PostgreSQL使用引号问题
今天执行sql一直提示：schema "xxx" does not exist，原因是在别名中使用了单引号...PostgreSQL 用单引号（'）表示值，双引号（"）表示系统标识符，比如表名或者字段名。
2021-04-01 14:30:00
2243
原创 ubun更改默认python，配置jupyter
查看系统所有pythonls /usr/bin/python*查看默认pythonpython --version只修改当前用户vim ~/.bashrc#修改默认python版本alias python='/usr/bin/python3.6'系统级修改#删除默认软链接sudo rm /usr/bin/python#创建新软链接指向需要的版本sudo ln -s /usr/bin/python3.6 /usr/bin/python安装pip#安装
2021-03-25 23:18:59
600
原创 Ubuntu恢复官方默认源
国内云服务器基本配的自家源，有时候需要换回官方源。备份现役源：sudo cp /etc/apt/sources.lst /etc/apt/sources.list_tenxun修改sources.list配置文件：sudo vim /etc/apt/sources.list官方源sources.list文件内容：#deb cdrom:[Ubuntu 20.04 LTS _Focal Fossa_ - Release amd64 (20200423)]/ focal main .
2021-03-24 23:43:16
35636
8
原创 Anaconda自带的Spyder启动太慢
系统：Windows10问题：Spyder挺好用，但启动至少要30秒以上解决方法：命令行执行以下命令spyder --reset
2021-03-19 16:26:06
968
原创 sqlserver和greenplum毫秒时间戳
用kettle把order表从sqlserver抽取到greenplum，目标表是appendonly模式，故不能使用时间回滚； postgres中timestamp时间和sqlserver中datetime时间无法直接进行逻辑运算，故均转换为unix时间戳； sqlserver时间戳没有小数（毫秒）部分，如果只精确到秒，增量插入时会漏掉部分数据或重复插入，故要计算毫秒部分；-- postgresselectdate_part('epoch',TIMESTAMP '2021-03-03 15:2
2021-03-03 16:55:28
970
1
原创 sqlserver提示dateadd日期部分不支持秒
函数DATEADD(datepart,number,date)，datepart精度不能小于date；例：end_time 类型为datecast(dateadd(s,86399,end_time) as datetime)-- 报错:dateadd日期部分不支持second，精度大于day都不支持,执行时才会报错。dateadd(s,86399,cast(end_time as datetime))-- 成功执行...
2021-03-02 15:09:20
706
原创 Kettle定时任务脚本参数详情
job脚本：D:cd D:\data-integration kitchen -rep repname -user username -pass passwd -dir /dirname -job jobname -level=basic>>D:\kettle_log\logname.logtransformation脚本：D:cd D:\data-integration pan -rep repname -user username -pass
2021-03-02 11:18:17
472
原创 pytorch+yolov5+deepsort训练报错RuntimeError: “unfolded2d_copy“ not implemented for ‘Half‘
原因：CPU训练，不支持半精度数解决方法：将检测模块中的.half()全部改成.float()参考资料：https://blog.csdn.net/hxx123520/article/details/112562930
2021-02-25 18:10:04
8159
10
原创 【Linux】sudo和su命令
sudo + 命令 --root权限执行，当前用户要有sudo权限sudo passwd root --修改root密码sudo passwd --修改当前用户密码su username --切换用户，不携带环境变量，不指定username则切换到rootsu - username --切换用户，不指定username则切换到root...
2021-02-25 13:14:26
111
原创 去掉windows快捷方式小箭头
@echo off color 2 reg delete HKCR\lnkfile /v IsShortcut /f reg delete HKCR\piffile /v IsShortcut /f reg delete HKCR\InternetShortcut /v IsShortcut /f taskkill /f /im explorer.exe && explorer
2021-01-13 11:14:56
125
原创 shutdown.bat无法关闭tomcat
问题：使用脚本定时重启tomcat，调用了bin目录下的shutdown.bat，发现关不掉tomcat...方案：通过tomcat端口号查找进程，杀死tomcat相关进程，启动tomcat@echo off & setlocal EnableDelayedExpansiontitle 重启tomcatfor %%a in (8080,8443,8009) do ( set pid=0 for /f "tokens=2,5" %%b in ('netstat -an
2021-01-13 11:05:22
2102
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人