![](https://img-blog.csdnimg.cn/c0f9824fc06f43c0acfcae8bd32e5024.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
data
一洛玉壶冰
千里之行,始于足下。
展开
-
八、Flink数据同步任务(mssql-flink-mysql)
# -*- coding: utf-8 -*-from pyflink.table import EnvironmentSettings, TableEnvironmentimport pymssqlimport pandas as pdenv_settings = EnvironmentSettings.new_instance().in_streaming_mode().use_blink_planner().buil原创 2022-03-31 17:19:53 · 4265 阅读 · 2 评论 -
六、Flink高可用部署
(1)下载安装包并解压到指定目录(2)修改配置文件,添加必要依赖(3)分发到其他节点,配置环境变量以dataxc用户为例,脚本示例如下:#!/bin/bash# flink.shnodes=(n101 n102 n103)zk_connect='n101:2181,n102:2181,n103:2181'#解压flink到程序目录cd /home/dataxc/sw && tar -zxvf flink-1.13.5-bin-scala_2.12.tgz -C原创 2022-03-29 17:53:45 · 1895 阅读 · 0 评论 -
五、Hadoop高可用部署
(1)下载安装包并解压到指定目录(2)修改配置文件,并添加必要变量(3)分发到其他节点,配置环境变量以dataxc用户为例,脚本示例如下:#!/bin/bash# hadoop.shnodes=(n101 n102 n103)#集群地址zk_connect='n101:2181,n102:2181,n103:2181'hdns='n101:8485;n102:8485;n103:8485'#解压hadoop到程序目录cd /home/dataxc/sw &&原创 2022-03-29 17:45:05 · 1511 阅读 · 0 评论 -
四、Kafka + Debezium 集群部署
(1)下载Kafka安装包并解压到指定目录(2)修改配置文件,分配broker.id(3)复制到其他节点,配置环境变量(4)创建Kafka插件目录,解压debezium插件到插件目录(5)修改配置文件,复制到其他节点以dataxc用户为例,脚本示例如下:#!/bin/bash# kafka.sh# ---部署kafka集群---nodes=(n101 n102 n103)zk_connect='n101:2181,n102:2181,n103:2181'#解压kafk原创 2022-03-29 17:36:00 · 2955 阅读 · 0 评论 -
三、zookeeper-3.7 集群部署
(1)下载安装包并解压到指定目录(2)修改配置文件,分配ServerID、创建数据/文件目录(3)添加环境变量以dataxc用户为例,脚本示例如下:#!/bin/bash# zk.shnodes=(n101 n102 n103)#将zookeeper安装包解压到程序目录cd /home/dataxc/sw && tar zxvf apache-zookeeper-3.7.0-bin.tar.gz -C /home/dataxc/optcd /home/data原创 2022-03-29 17:24:11 · 1824 阅读 · 0 评论 -
二、JDK安装与变量配置
(1)下载并解压JDK包到指定目录(2)配置环境变量以dataxc用户为例,脚本示例如下:#!/bin/bash# jdk.sh#安装jdk前,先查看已安装jdk版本,卸载不需要的版本nodes=(n100 n101 n102 n103)#创建程序目录function f_mkdir(){if [ ! -d /home/dataxc/opt ];then mkdir /home/dataxc/optelse echo dir existfi}f_mkdir#原创 2022-03-29 17:15:00 · 1382 阅读 · 0 评论 -
一、SSH免密配置
(1)生成密钥(2)将中控机的密钥复制到所有节点(实现中控机访问所有节点)(3)若要实现所有节点相互免密,将含有所有节点公钥的文件复制到所有节点以dataxc用户为例,脚本示例如下:#!/bin/bash# passwdless.sh#安装expect,用于自动交互任务sudo apt-get install -y expect#要设置免密登录的节点,177为中控机(本机)nodes=(192.168.10.177 192.168.10.225 192.168.10.226原创 2021-08-30 16:22:43 · 617 阅读 · 0 评论 -
七、SqlServer数据库,批量开启表cdc
启用/禁用数据库cdc# 查看已启用cdc的数据库SELECT name,is_cdc_enabled FROM sys.databases WHERE is_cdc_enabled = 1;# 启用数据库cdcEXECUTE sys.sp_cdc_enable_db;#禁用数据库cdcEXECUTE sys.sp_cdc_disable_db;启用/禁用表cdc#查看已开启cdc的表SELECT name,is_tracked_by_cdc FROM sys.tables原创 2021-12-29 16:35:58 · 1773 阅读 · 0 评论