云想衣裳花想容，春风拂槛露华浓。-CSDN博客

原创 sqlserver通过confluent实时同步到kafka

#sqlserver安装https://www.cnblogs.com/xuanqust/p/11106679.html#sqlserver开启cdc– Create the test databaseCREATE DATABASE ReportServerTempDB;GOUSE ReportServerTempDB;EXEC sys.sp_cdc_enable_db;– Create some customers …CREATE TABLE customers (id INTEGER

2021-09-27 17:06:42 218

转载 kafka调整offset

https://www.cnblogs.com/qinghe123/p/13948826.html

2021-06-28 14:00:52 258

原创 spark算子updateStateByKey之删除保存的状态

spark算子updateStateByKey的两种操作展示今天突然发现updateStateByKey算子可以传入一个迭代器def updateStateByKey[S](updateFunc : scala.Function1[scala.Iterator[scala.Tuple3[K, scala.Seq[V], scala.Option[S]]], scala.Iterator[scala.Tuple2[K, S]]], partitioner : org.apache.spark.Partit

2021-01-08 17:05:42 295

转载 Kafka 如何读取offset topic内容 (__consumer_offsets)

众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。不过依然有很多用户希望了解__consumer_offsets topic内部到底保存了什么信息，特别是想查询某些consumer group的位移是如何在该topic中保存的。针对这些问题，本文将结合一个实例探讨

2020-12-30 16:41:59 289

转载 kafka日志文件容量过大导致服务器磁盘爆满

kafka日志文件容量过大导致服务器磁盘爆满https://blog.csdn.net/DreamsArchitects/article/details/108667192?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromM

2020-12-22 10:40:19 1653

原创 Python解析Json文件，写入到mysql

import jsonimport pymysqldef prem(db): cursor = db.cursor() cursor.execute("SELECT VERSION()") data = cursor.fetchone() print("Database version : %s " % data) # 结果表明已经连接成功 cursor.execute("DROP TABLE IF EXISTS review") # 习惯性 sql

2020-06-19 18:27:27 1148

原创 idea中alt+enter快捷键被disabled解决办法

idea中alt+enter快捷键被disabled解决办法说明，正常情况下，alt+enter快捷键没有问题。题主是在补全调用方法返回值的时候，不小心点中了disbaled选项，导致alt+enter快捷键失效，在网上搜了很久，都没有具体的解决办法。找了很久才找到，现在将其贴出，方便你我他打开settings–>editor–>intentions–>右边面板可以看到...

2020-04-09 11:37:41 1777 4

转载探讨kafka的分区数与多线程消费

首先，容我吐一口老血。。。。。。kafka算是很麻烦的一件事儿，起因是最近需要采集大量的数据，原先是只用了典型的high-level Consumer的API，最经典的不过如下： Properties props = new Properties(); props.put("zookeeper.connect", "xxxx:2181"); ...

2019-02-28 17:39:18 279

原创 Kafka查看消息消费到哪里

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv可以看到当前group offset的状况，比如这里看pv的状况，3个partitionGroup Topic Pid Offset logSize La...

2019-02-28 15:15:48 5593

原创 CDH5.10.0 离线安装(共3节点)

1.安装方式CDH的离线部署安装，即Parcel包（推荐）2.角色规划三个节点对应的角色：blob.png3.基本环境配置（在每个节点上都要配置）(1)关闭防火墙#/etc/init.d/iptables stopchkconfig --level 345 iptables off(2)关闭seliuxvim /etc/sysconfig/selinuxSELINUX=dis...

2019-02-20 10:00:15 495 1