- 博客(10)
- 资源 (9)
- 收藏
- 关注
原创 sqlserver通过confluent实时同步到kafka
#sqlserver安装https://www.cnblogs.com/xuanqust/p/11106679.html#sqlserver开启cdc– Create the test databaseCREATE DATABASE ReportServerTempDB;GOUSE ReportServerTempDB;EXEC sys.sp_cdc_enable_db;– Create some customers …CREATE TABLE customers (id INTEGER
2021-09-27 17:06:42 233
原创 spark算子updateStateByKey之删除保存的状态
spark算子updateStateByKey的两种操作展示今天突然发现updateStateByKey算子可以传入一个迭代器def updateStateByKey[S](updateFunc : scala.Function1[scala.Iterator[scala.Tuple3[K, scala.Seq[V], scala.Option[S]]], scala.Iterator[scala.Tuple2[K, S]]], partitioner : org.apache.spark.Partit
2021-01-08 17:05:42 326
转载 Kafka 如何读取offset topic内容 (__consumer_offsets)
众所周知,由于Zookeeper并不适合大批量的频繁写入操作,新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中,即__consumer_offsets topic,并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。不过依然有很多用户希望了解__consumer_offsets topic内部到底保存了什么信息,特别是想查询某些consumer group的位移是如何在该topic中保存的。针对这些问题,本文将结合一个实例探讨
2020-12-30 16:41:59 300
转载 kafka日志文件容量过大导致服务器磁盘爆满
kafka日志文件容量过大导致服务器磁盘爆满https://blog.csdn.net/DreamsArchitects/article/details/108667192?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromM
2020-12-22 10:40:19 1695
原创 Python解析Json文件,写入到mysql
import jsonimport pymysqldef prem(db): cursor = db.cursor() cursor.execute("SELECT VERSION()") data = cursor.fetchone() print("Database version : %s " % data) # 结果表明已经连接成功 cursor.execute("DROP TABLE IF EXISTS review") # 习惯性 sql
2020-06-19 18:27:27 1180
原创 idea中alt+enter快捷键被disabled解决办法
idea中alt+enter快捷键被disabled解决办法说明,正常情况下,alt+enter快捷键没有问题。题主是在补全调用方法返回值的时候,不小心点中了disbaled选项,导致alt+enter快捷键失效,在网上搜了很久,都没有具体的解决办法。找了很久才找到,现在将其贴出,方便你我他打开settings–>editor–>intentions–>右边面板可以看到...
2020-04-09 11:37:41 1850 4
转载 探讨kafka的分区数与多线程消费
首先,容我吐一口老血。。。。。。kafka算是很麻烦的一件事儿,起因是最近需要采集大量的数据,原先是只用了典型的high-level Consumer的API,最经典的不过如下: Properties props = new Properties(); props.put("zookeeper.connect", "xxxx:2181"); ...
2019-02-28 17:39:18 289
原创 Kafka查看消息消费到哪里
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv可以看到当前group offset的状况,比如这里看pv的状况,3个partitionGroup Topic Pid Offset logSize La...
2019-02-28 15:15:48 5620
原创 CDH5.10.0 离线安装(共3节点)
1.安装方式CDH的离线部署安装,即Parcel包(推荐)2.角色规划三个节点对应的角色:blob.png3.基本环境配置(在每个节点上都要配置)(1)关闭防火墙#/etc/init.d/iptables stopchkconfig --level 345 iptables off(2)关闭seliuxvim /etc/sysconfig/selinuxSELINUX=dis...
2019-02-20 10:00:15 525 1
HBaseBulkGetExample.scala
2020-04-09
hbase-spark-1.2.0-cdh5.16.2.jar
2020-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人