- 博客(32)
- 资源 (154)
- 收藏
- 关注
RSS订阅原创 kafka-connect——数据导入导出——shell脚本监控connect集群
目录1、配置文件：2、代码：3、配置参数说明：4、使用注意事项：shell脚本监控connect集群代码如下：1、配置文件：ipAddressAndPorts=192.168.0.141:8083semdEmailTo=1123476897809@qq.comsendEmailTitle=测试kafka-connect异常标题sendEmailConten...
2019-12-29 16:46:15
475
原创 kafka-connect——数据导入导出——REST API
目录（1）获取connect列表：（2）创建新的connect：（3）获取指定connect信息：（4）获取指定connect配置参数：（5）更新指定connect配置参数：（6）获取指定connect当前状态：（7）获取运行connect任务列表：（8）获取指定任务当前状态：（9）暂停connect及其任务：（10）恢复暂停的connect：（11）重...
2019-12-29 09:26:07
542
原创 kafka-connect——数据导入导出——搭建集群模式
目录（1）配置linux中connect分配：（2）配置connect-distributed参数：A、broker访问地址：B、组ID唯一名称：C、offset存储的topic：D、offset存储的副本数：E、offset存储的分区数：F、config存储的topic：G、config存储的副本数：H、status存储的topic：I、stat...
2019-12-29 09:25:14
1623
原创 kafka-connect——数据导入导出——搭建单机模式
目录（1）配置linux中connect内存分配：（2）配置connect-standalone参数：A、broker访问地址：B、offset存储路径：C、plugin插件路径：（3）配置数据来源参数：A、配置jdbc来源参数：B、配置file来源参数：C、官网插件查找：（4）配置数据目的参数：A、配置jdbc目的参数：B、配置file目的参数：...
2019-12-29 09:21:59
1474
原创 kafka-connect——数据导入导出——插件所支持的数据系统类型
配置kafka-connect需要知道kafka与其它系统之间的连接，那么kafka-connect都支持什么连接呢，默认kafka中不能使用任何链接，需要手动现在kafka对应的连接插件，然后放到connect配置文件中配置的plugin.path插件存储路径下才可以。第三方开发好的connect见连接：https://www.confluent.io/product/connectors/（也...
2019-12-29 09:16:32
595
原创 kafka-connect——数据导入导出——简介与核心概念
目录1、简介：2、核心概念：（1）connectors：（2）Tasks：（3）Workers：（4）Converters：1、简介：Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。 Kafka Connect可以获取整个数据库或从所有应用程...
2019-12-29 09:07:51
487
原创 消息队列——kafka——shell脚本监控kafka集群节点异常mail发邮件
shell脚本监控kafka集群节点异常mail发邮件代码如下：1、配置文件：filePath=/data/soft/kafka/kafka_2.12-2.2.0semdEmailTo=1174928874@qq.comsendEmailTitle=测试邮件主题sendEmailContent=测试邮件内容2、代码：注意：不同linux设备的sh路径可能不同，需通过whic...
2019-12-27 14:13:11
753
原创 防止单点故障——keepalived+nginx高可用搭建
目录（1）方案规划：（2）安装nginx：（3）安装keepalived：（4）配置keepalived：A、主服务器：B、备服务器：（5）编写nginx健康检查脚本：（6）启动测试：（1）方案规划：方案规划是：安装2台nginx服务器，并且每一个nginx上都有一个keepalived，通过keepalived映射的VIP访问nginx服务器。kee...
2019-12-26 21:48:16
311
原创 防止单点故障——keepalived+tomcat高可用搭建
目录（1）方案规划：（2）安装tomcat：（3）安装keepalived：（4）配置keepalived：A、主服务器：B、备服务器：（5）编写tomcat健康检查脚本：（6）启动测试：（1）方案规划：方案规划是：安装2台tomcat服务器，并且每一个tomcat上都有一个keepalived，通过keepalived映射的VIP访问tomcat服务...
2019-12-26 21:44:21
1156
原创 防止单点故障——keepalived——搭建（linux）与参数简介
目录一、Keepalived安装（linux）：1、安装依赖：2、安装keepalived：3、启动停止服务：二、参数简介：1、global_defs区域参数：2、static_ipaddress区域参数：3、static_routes区域参数：4、vrrp_script区域参数：5、vrrp_instance区域参数：6、virtual_server区...
2019-12-26 21:36:58
451
原创 防止单点故障——keepalived——简介与工作原理
一、Keepalived简介：keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需...
2019-12-26 21:34:11
1068
原创 消息队列——kafka——shell脚本监控zookeeper集群节点异常mail发邮件
shell脚本监控zookeeper集群节点异常mail发邮件代码如下：1、配置文件：filePath=/data/soft/zookeepersemdEmailTo=117477778874@qq.comsendEmailTitle=测试邮件主题sendEmailContent=测试邮件内容2、代码：注意：不同linux设备的sh路径可能不同，需通过which sh查看s...
2019-12-26 21:26:55
349
原创 shell脚本检查nginx运行状态异常通过mail465端口发邮件
shell脚本检查nginx运行状态异常通过mail465端口发邮件代码如下：1、配置文件：nginxIpAndPort=192.168.0.142:80semdEmailTo=1176767874@qq.comsendEmailTitle=测试主keepalived服务器停止sendEmailContent=测试主keepalived服务器停止，请尽快登陆查看问题2、代码：...
2019-12-26 21:23:07
507
原创 shell脚本检查tomcat运行状态异常通过mail465端口发邮件
shell脚本检查tomcat运行状态异常通过mail465端口发邮件代码如下：1、配置文件：filePath=/data/soft/tomcat/apache-tomcat-7.0.1semdEmailTo=11740000874@qq.comsendEmailTitle=测试邮件主题sendEmailContent=测试邮件内容2、代码：注意：不同linux设备的sh路...
2019-12-26 21:19:08
539
原创 ETL工具KETTLE常用设计之——单表数据增量迁移记录增量数据数量
目录一、主体思路：1、基础要求：2、具体思路如下：二、具体kettle设计作业操作：1、主作业：2、获取查询开始时间：3、创建查询结束时间：4、通过比对更新数据：5、通过比对插入数据：6、统计同步数据量：一、主体思路：1、基础要求：需要同步的源表中要有主键ID、时间戳这两个字段。并且源表中新插入数据时时间戳字段值为当前系统时间，源表中数据有...
2019-12-23 20:37:06
1974
原创 ETL工具KETTLE常用设计之——JSON解析
一、主体思路：主要是先获取到json，然后非常清楚json的结构形式，然后明确自己需要哪些字段。最后根据jsonPath编写出各个解析各个字段获取对应的值得json解析路径。通过这样一个思路就可以利用Kettle零代码快速完成json解析工作。二、具体配置操作：（1）指定json来源：在kettle组件“JSON Input”中，指定json的来源，是流中某一个字段，还是指定的一个...
2019-12-22 14:43:21
2769
原创 ETL工具KETTLE常用设计之——多表或整库数据全量迁移
一、思路：有主作业、子作业两个作业组成这个流程，在主作业中，首先调用一个转换用来获取指定库中所有的表名、指定的表名等内容复制到结果记录，然后调用一个子作业，子作业中先调用一个转换用来结果记录中的信息，然后设置变量，变量有效范围为parent_job，然后子作业再调用一个转换，用来执行sql脚本创建表结构和获取源数据表中的数据再输出到对应的目标数据库中表中即可，因为字段名称是一致的，所以不需要指...
2019-12-22 14:25:30
955
原创 ETL工具KETTLE常用设计之——自动循环
1、主体思路：有主作业、子作业两个作业组成这个流程，在主作业中，首先调用一个转换用来获取指定的需要循环的变量值并将内容复制到结果记录，然后调用一个子作业，子作业中先调用一个转换用来结果记录中的信息，然后设置变量，变量有效范围为parent_job，然后子作业再调用一个转换，用来执行具体的数据处理逻辑的转换中，在使用到循环变量的时候，就引用设置的变量即可，这样就可以实现将循环变量自动循环执行每一...
2019-12-22 14:20:38
935
原创 ETL工具KETTLE常用设计之——单个或批量xml文件解析
1、核心思路:就是指定要循环读取XML的路径，并指定该路径下每个字段对应的路径，以便kettle能够循环读取XML中的数据，从而获取所有记录中不同字段的值。2、具体步骤如下：（1）选择XML文件路径（如果文件中各种节点路径一模一样，可以选择多个文件，在选择多个文件时可以逐个选择文件添加进去，也可以选择一个文件夹路径，然后通过通配符批量选择xml文件）：（2）指定要循环读取的XMP路...
2019-12-22 14:13:41
2954
原创 ETL工具KETTLE通用知识简介
目录一、Kettle连接不同数据库驱动jar包放置位置：二、Kettle中设置编码格式：三、Kettle作业与转换如何配合使用：四、Kettle文件资源库与数据库资源库内容如何转换：1、文件资源库导入到数据库资源库：2、数据库资源库导入到文件资源库：五、Kettle实现的功能：一、Kettle连接不同数据库驱动jar包放置位置：Kettle软件部署在不同操...
2019-12-22 14:02:31
826
原创 ETL工具KETTLE作业设计环境windows与运行环境linux协同问题
目录一、如何在Linux上登录kettle的文件资源库或数据库资源库：二、Window中kettle的文件资源库如何在linux中执行：三、Window中kettle的数据库资源库如何在linux中执行：一、如何在Linux上登录kettle的文件资源库或数据库资源库：说明：在window中可以通过可视化界面来登录kettle的资源库，在linux中没有可视化界面，win...
2019-12-22 13:52:37
973
原创 ETL工具KETTLE常用设计之——发送邮件
一、邮件信息在组件中：在转换中使用邮件“发送邮件”组件，进行发送邮件：配置收件人、发件人（多个用空格分隔）等信息：配置发件人的邮箱、密码等信息：配置邮箱信息：就按照红线中配置即可，此方式可动态获取当前job的名称。如果需要发送其它信息，请自行尝试即可。二、邮件信息写在配置文件中（强烈推荐）1、将发件人、发件人昵称、收件人（多个用空格分隔）、发件邮箱服务器地址和...
2019-12-18 20:41:45
1639
原创 ETL工具KETTLE常用设计之——下载远程服务器文件
一、下载文件：在kettle作业中使用：“SFTP下载”组件，将远程服务器中指定文件夹中的文件下载到本地。二、获取文件名：在转换中使用输入中“获取文件名”组件，用来获取下载到本地的文件夹中的文件名称，并将文件名输出到指定位置保存。三、文件输入：在转换中，可以使用输入中“文本文件输入”等输入组件，将刚才保存的文件名称输入获取到，然后可以传输到一个job中，该job...
2019-12-18 20:26:24
3040
原创 ETL工具KETTLE常用设计之——作业设计思路模板
目录01：检查数据库连接：02：设置环境变量：03：设计各自数据流程转换：04：邮件通知：ETL工具KETTLE用来设计数据流程，无论什么逻辑的数据流程，一般都有一个通用的设计模板流程，在这个模板流程下各自配置各自的具体数据流程，这样可以做到非常好的对流程进行监控。具体设计思路模板如下：01：检查数据库连接：将数据流程中使用到的数据库连接首先进行检查，如果有数据库...
2019-12-18 19:50:50
1231
原创 ETL工具KETTLE搭建linux运行环境
目录一、安装JDK环境：二、软件下载：三、软件解压：四、配置环境变量：五、修改参数：1、设置编码格式为UTF-8：2、根据电脑性能提高参数：六、启动测试：一、安装JDK环境：需要安装JDK1.8及以上的环境。二、软件下载：kettle软件下载地址：https://sourceforge.net/projects/pentaho/files/Da...
2019-12-18 19:32:25
1565
2
原创 ETL工具KETTLE搭建windows设计运行环境
目录一、安装JDK环境：二、软件下载：三、软件解压：四、配置环境变量：五、修改参数：1、设置编码格式为UTF-8：2、根据电脑性能提高参数：六、启动测试：一、安装JDK环境：需要安装JDK1.8及以上的环境。二、软件下载：kettle软件下载地址：https://sourceforge.net/projects/pentaho/files/Da...
2019-12-18 19:24:08
878
原创 消息队列——kafka——安装kafka-manager管理kafka集群
目录（1）下载软件包：（2）解压软件包：（3）用sbt编译软件：A、利用yum安装sbt：A-01：下载sbt的rpm包：A-02：移动sbt的rpm包：A-03：配置阿里云仓库源：A-04：利用yum安装sbt：B、检查sbt安装：C、编译kafka-manager：（4）安装编译后kafka-manager：（5）修改配置信息：（6）启动服务...
2019-12-15 15:12:15
478
原创 消息队列——kafka——java集成与操作
目录一、java集成kafka:1、所需环境：2、引入jar包：3、创建基础Properties：（1）单机kafka的基础Properties：（2）集群kafka的基础Properties：4、创建生产者公共参数Properties：5、创建消费者公共参数Properties：二、Java操作kafka：1、创建topic：2、查看所有topic：...
2019-12-14 21:34:49
2005
原创 消息队列——kafka——常用操作命令
目录1、创建topic：2、查看topic：3、删除topic：4、发送消息：5、消费消息：1、创建topic：./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test非常注意：Kafka 从 2...
2019-12-10 20:58:54
734
原创 消息队列——kafka——搭建集群（linux）
目录1、集群规划：2、集群各节点配置jdk环境：3、集群各节点关闭防火墙：4、安装zookeeper集群：（1）集群参数规划：（2）软件下载：（3）解压软件包：（4）配置文件重命名：（5）修改配置参数：A、数据存储路径：B、服务端口号：C、集群各节点通信地址：（6）创建myid文件：（7）配置环境变量：（8）启动zookeeper集群：...
2019-12-10 20:55:26
389
原创 消息队列——kafka——搭建单机（linux）
目录1、配置jdk环境：2、安装zookeeper：（1）软件下载：（2）解压软件包：（3）配置文件重命名：（4）修改配置参数：A、数据存储路径：B、服务端口号：（5）配置环境变量：（6）启动zookeeper：（7）停止zookeeper：（8）查看zookeeper：3、安装kafka：（1）软件下载：（2）解压软件包：（3）修改...
2019-12-10 20:51:13
342
原创 消息队列——kafka——搭建单机（windows）
目录1、配置jdk环境：2、安装zookeeper：（1）软件下载：（2）解压软件包：（3）配置文件重命名：（4）修改配置参数：A、数据存储路径：B、服务端口号：（5）配置环境变量：（6）启动zookeeper：（7）停止zookeeper：3、安装kafka：（1）软件下载：（2）解压软件包：（3）修改配置参数：A、唯一标识符：...
2019-12-10 20:48:11
375
docker_18.06.1离线rpm安装包及服务文件.rar
2021-10-27
kubeadm安装k8s-1.17.0离线资源.rar
2021-10-15
windows备份mysql数据库bat脚本.rar
2020-11-14
cas-overlay-templcate-5.1.0源码及搭建手册.rar
2020-06-05
fastDFS相关软件安装包.rar
2020-04-27
shell脚本监控rocketmq集群节点异常通过mail465发送邮件通知管理员.zip
2020-03-31
otp_win64_20.0.rar
2020-03-28
rabbitmq-server-windows-3.7.5.zip
2020-03-28
zipkin-server-2.19.0-exec.jar
2020-03-28
zipkin-dependencies-2.4.2.jar
2020-03-28
nacos-server-1.1.4.zip
2020-03-28
nacos-server-1.1.4.tar.gz
2020-03-28
zipkin-dependencies-2.4.0.zip
2020-03-28
zipkin-2.19.0.zip
2020-03-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人