我也要用
Kafka
vkingnew
Learning......
-
原创 kafka 2.4 源码环境搭建
可以查看需要依赖的环境信息：https://github.com/apache/kafka/blob/2.4/gradle/dependencies.gradle// Add Scala versiondef defaultScala211Version = '2.11.12'def defaultScala212Version = '2.12.10'def defaultScala213Version = '2.13.1' gradle: "5.6.2", gradleVersio2020-09-13 01:28:08
72
0
-
原创 Kafka 2.4 集群搭建及常用操作
运行环境：CentOS 7.6Java 8 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlZookeeper 3.5.8 http://mirrors.ustc.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz kafka 2.4.1 http://mirrors.ustc2020-09-03 17:47:16
57
0
-
原创 Kafka 发布版本和发布历史
Kafka的发展历史：Kafka早期是由LinkedIn公司内部开发的，并于2011年早期开源，2012-10-23 日从apache incubator 毕业。Kafka的名字来自于创始人Jay Kreps喜欢的奥地利小说Franz Kafka。创始人于年离开linkedIn公司创建了confluence 公司Kafka的发行版本：Kafka的版本号：scala 2.11 表示的scala的版本号。前面的版本号是编译 Kafka 源代码的 Scal...2020-09-03 17:22:33
251
0
-
原创 apache Kafka 概述
Apache KafkaApache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-criticalapplications.Kafka 最初是由LinkedIn公司采用Scala语言2020-09-03 10:19:56
64
0
-
原创 Debezium 将MongoDB同步到kafka（待完善验证）
-- 登录mongo查询：./mongo --host 10.19.166.249 --port 27017testrs:PRIMARY> rs.status()配置文件：#vim mongodb.propertiesname=mongoconnector.class=io.debezium.connector.mongodb.MongoDbConnectormongodb...2019-04-09 18:11:42
1126
0
-
原创 Debezium MySQL 同步到kafka
支持的jar包文件下载：https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.9.3.Final/debezium-connector-mysql-0.9.3.Final-plugin.tar.gzhttps://repo1.maven.org/maven2/io/debezium/debezium-co...2019-04-03 20:23:48
1327
1
-
原创 confluent 同步SQL server 2017数据到kafka
配置文件：SQL server开启ALTER DATABASE TestDB SET CHANGE_TRACKING = ON (CHANGE_RETENTION = 3 DAYS, AUTO_CLEANUP = ON)goALTER TABLE [TestDB].dbo.[orders] ENABLE CHANGE_TRACKING WITH (TRACK_COLUMNS_UP...2019-04-09 17:39:29
615
0
-
原创 CentOS 7 部署CDH6.2中的kudu+impala
在kudu 1.8版本之前提供repo 可rpm安装部署，1.9版本则值提供源码包安装部署.安装的版本CDH6.2版本中的kudu1.9+impala3.2： 需要预先下载jar包：wget http://central.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.2.1.jre7/mssql-jdbc-6.2.1.jr...2019-04-03 15:47:59
2536
1
-
原创 Debezium SQL server 2017同步到kafka
--启动kafka：kafka-server-start.sh /usr/local/kafka/config/server.properties &配置文件：# vim mssql.propertiesname=mssqlconnector.class=io.debezium.connector.sqlserver.SqlServerConnectortasks.max...2019-04-09 15:05:09
1832
0
-
原创 SQL server 发kafka
前置条件：SQL server 2017至少支持SQL server 2016 SP1版本，需要开启CDC功能。1.运行环境：centos72.前置条件准备：docker和docker-compose# docker versionClient: Version: 18.09.1 API version: 1.39 Go version:...2019-04-03 11:03:13
640
1
-
原创 Debezium 介绍及其使用场景
简介：What is Debezium?Debezium is a set of distributed services that capture row-level changes in your databases so that your applications can see and respond to those changes. Debezium records in ...2019-04-02 10:30:58
2177
0
-
原创 kafka单机部署
1.java部署2.zookeeper部署3.kafka部署：# tar -xzvf jdk-8u192-linux-x64.tar.gz -C /usr/local/# cat /etc/profile.d/java.sh export JAVA_HOME=/usr/local/jdk1.8.0_192export PATH=$JAVA_HOME/bin:$PATH...2019-03-26 16:33:45
549
0
-
原创 confluent community 体验
hub 地址：https://www.confluent.io/hub/1.安装必须的软件：sudo yum install curl which2.导入：sudo rpm --import https://packages.confluent.io/rpm/5.2/archive.key3.添加仓库：在目录/etc/yum.repos.d目录下新建文件 confluent.re...2019-04-04 01:50:19
712
3
-
原创 数据交换工具
在互联网企业，更多的是利用开源组件来负责更加专业的细分领域的事情。数据存储：MySQLMongoDBRedisNeo4j较为传统的软件使用数据库：SQL serverOraclepostgresql当有数据搜索和大数据分析、AI处理的时候还是会将业务数据的数据同步或抽取到专用的数据库：此时就需要各种开源的方案。一般会考虑数据怎么进入到某个组件，进入了某组件之后数据怎么出来...2019-03-26 12:17:31
1029
0
-
原创 oracle goldengate for bigdata
-- 安装需要的软件包：# yum -y install rlwrap unzip-- 解压软件：# unzip OGG_BigData_Linux_x64_12.3.2.1.1.zip Archive: OGG_BigData_Linux_x64_12.3.2.1.1.zip inflating: OGGBD-12.3.2.1-README.txt inflating: ...2019-02-19 15:16:40
1121
0
-
原创 使用ansible 搭建kafka集群
软件版本：ansiblezookeeperkafka下载代码：$git clone https://github.com/pingcap/thirdparty-ops安装之前的准备工作：# yum -y install epel-release ansible curl...Dependencies Resolved=====================...2019-02-28 12:09:22
1190
0
-
原创 Linux 下kafka集群搭建
主机的IP地址：主机IP地址 zookeeper kafka10.19.85.149 myid=1 broker.id=110.19.15.103 myid=2 broker.id=210.19.189.221 myid=3 broker.id=3配置文件：# cat zoo.cfgtickTime=2000initLimit=10sy...2018-08-31 14:54:21
803
0
-
原创 kafka 报错：kafka server：Message was too large ，server rejected it to avoid allocation
kafka报错信息：kafka server：Message was too large ，server rejected it to avoid allocation kafka版本：kafka 1.1.0版本。原因分析：查看kafka配置，默认单条消息最大为1M，当单条消息长度超过1M时，就会出现发送到broker失败，从而导致消息在producer的队列中一直累积，直到撑爆生...2018-08-31 12:16:03
3354
0