kafka
LSY_csdn_
交流请联系QQ:1174928874
展开
-
kafka-connect——数据导入导出——插件所支持的数据系统类型
配置kafka-connect需要知道kafka与其它系统之间的连接,那么kafka-connect都支持什么连接呢,默认kafka中不能使用任何链接,需要手动现在kafka对应的连接插件,然后放到connect配置文件中配置的plugin.path插件存储路径下才可以。第三方开发好的connect见连接:https://www.confluent.io/product/connectors/(也...原创 2019-12-29 09:16:32 · 604 阅读 · 0 评论 -
kafka-connect——数据导入导出——shell脚本监控connect集群
目录1、配置文件:2、代码:3、配置参数说明:4、使用注意事项:shell脚本监控connect集群代码如下:1、配置文件:ipAddressAndPorts=192.168.0.141:8083semdEmailTo=1123476897809@qq.comsendEmailTitle=测试kafka-connect异常标题sendEmailConten...原创 2019-12-29 16:46:15 · 479 阅读 · 0 评论 -
kafka-connect——数据导入导出——REST API
目录(1)获取connect列表:(2)创建新的connect:(3)获取指定connect信息:(4)获取指定connect配置参数:(5)更新指定connect配置参数:(6)获取指定connect当前状态:(7)获取运行connect任务列表:(8)获取指定任务当前状态:(9)暂停connect及其任务:(10)恢复暂停的connect:(11)重...原创 2019-12-29 09:26:07 · 552 阅读 · 0 评论 -
kafka-connect——数据导入导出——搭建集群模式
目录(1)配置linux中connect分配:(2)配置connect-distributed参数:A、broker访问地址:B、组ID唯一名称:C、offset存储的topic:D、offset存储的副本数:E、offset存储的分区数:F、config存储的topic:G、config存储的副本数:H、status存储的topic:I、stat...原创 2019-12-29 09:25:14 · 1635 阅读 · 0 评论 -
kafka-connect——数据导入导出——搭建单机模式
目录(1)配置linux中connect内存分配:(2)配置connect-standalone参数:A、broker访问地址:B、offset存储路径:C、plugin插件路径:(3)配置数据来源参数:A、配置jdbc来源参数:B、配置file来源参数:C、官网插件查找:(4)配置数据目的参数:A、配置jdbc目的参数:B、配置file目的参数:...原创 2019-12-29 09:21:59 · 1496 阅读 · 0 评论 -
kafka-connect——数据导入导出——简介与核心概念
目录1、简介:2、核心概念:(1)connectors:(2)Tasks:(3)Workers:(4)Converters:1、简介:Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。 Kafka Connect可以获取整个数据库或从所有应用程...原创 2019-12-29 09:07:51 · 493 阅读 · 0 评论 -
消息队列——kafka——shell脚本监控kafka集群节点异常mail发邮件
shell脚本监控kafka集群节点异常mail发邮件代码如下:1、配置文件:filePath=/data/soft/kafka/kafka_2.12-2.2.0semdEmailTo=1174928874@qq.comsendEmailTitle=测试邮件主题sendEmailContent=测试邮件内容2、代码:注意:不同linux设备的sh路径可能不同,需通过whic...原创 2019-12-27 14:13:11 · 761 阅读 · 0 评论 -
消息队列——kafka——shell脚本监控zookeeper集群节点异常mail发邮件
shell脚本监控zookeeper集群节点异常mail发邮件代码如下:1、配置文件:filePath=/data/soft/zookeepersemdEmailTo=117477778874@qq.comsendEmailTitle=测试邮件主题sendEmailContent=测试邮件内容2、代码:注意:不同linux设备的sh路径可能不同,需通过which sh查看s...原创 2019-12-26 21:26:55 · 354 阅读 · 0 评论 -
消息队列——kafka——安装kafka-manager管理kafka集群
目录(1)下载软件包:(2)解压软件包:(3)用sbt编译软件:A、利用yum安装sbt:A-01:下载sbt的rpm包:A-02:移动sbt的rpm包:A-03:配置阿里云仓库源:A-04:利用yum安装sbt:B、检查sbt安装:C、编译kafka-manager:(4)安装编译后kafka-manager:(5)修改配置信息:(6)启动服务...原创 2019-12-15 15:12:15 · 490 阅读 · 0 评论 -
消息队列——kafka——java集成与操作
目录一、java集成kafka:1、所需环境:2、引入jar包:3、创建基础Properties:(1)单机kafka的基础Properties:(2)集群kafka的基础Properties:4、创建生产者公共参数Properties:5、创建消费者公共参数Properties:二、Java操作kafka:1、创建topic:2、查看所有topic:...原创 2019-12-14 21:34:49 · 2047 阅读 · 0 评论 -
消息队列——kafka——常用操作命令
目录1、创建topic:2、查看topic:3、删除topic:4、发送消息:5、消费消息:1、创建topic:./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test非常注意:Kafka 从 2...原创 2019-12-10 20:58:54 · 738 阅读 · 0 评论 -
消息队列——kafka——搭建集群(linux)
目录1、集群规划:2、集群各节点配置jdk环境:3、集群各节点关闭防火墙:4、安装zookeeper集群:(1)集群参数规划:(2)软件下载:(3)解压软件包:(4)配置文件重命名:(5)修改配置参数:A、数据存储路径:B、服务端口号:C、集群各节点通信地址:(6)创建myid文件:(7)配置环境变量:(8)启动zookeeper集群:...原创 2019-12-10 20:55:26 · 391 阅读 · 0 评论 -
消息队列——kafka——搭建单机(linux)
目录1、配置jdk环境:2、安装zookeeper:(1)软件下载:(2)解压软件包:(3)配置文件重命名:(4)修改配置参数:A、数据存储路径:B、服务端口号:(5)配置环境变量:(6)启动zookeeper:(7)停止zookeeper:(8)查看zookeeper:3、安装kafka:(1)软件下载:(2)解压软件包:(3)修改...原创 2019-12-10 20:51:13 · 351 阅读 · 0 评论 -
消息队列——kafka——搭建单机(windows)
目录1、配置jdk环境:2、安装zookeeper:(1)软件下载:(2)解压软件包:(3)配置文件重命名:(4)修改配置参数:A、数据存储路径:B、服务端口号:(5)配置环境变量:(6)启动zookeeper:(7)停止zookeeper:3、安装kafka:(1)软件下载:(2)解压软件包:(3)修改配置参数:A、唯一标识符:...原创 2019-12-10 20:48:11 · 378 阅读 · 0 评论