Kafka
vkingnew
Learning......
展开
-
kafka 2.4 源码环境搭建
可以查看需要依赖的环境信息:https://github.com/apache/kafka/blob/2.4/gradle/dependencies.gradle// Add Scala versiondef defaultScala211Version = '2.11.12'def defaultScala212Version = '2.12.10'def defaultScala213Version = '2.13.1' gradle: "5.6.2", gradleVersio原创 2020-09-13 01:28:08 · 270 阅读 · 0 评论 -
Kafka 2.4 集群搭建及常用操作
运行环境:CentOS 7.6Java 8 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlZookeeper 3.5.8 http://mirrors.ustc.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz kafka 2.4.1 http://mirrors.ustc原创 2020-09-03 17:47:16 · 242 阅读 · 1 评论 -
Kafka 发布版本和发布历史
Kafka的发展历史:Kafka早期是由LinkedIn公司内部开发的,并于2011年早期开源,2012-10-23 日从apache incubator 毕业。Kafka的名字来自于创始人Jay Kreps喜欢的奥地利小说Franz Kafka。创始人于年离开linkedIn公司创建了confluence 公司Kafka的发行版本:Kafka的版本号:scala 2.11 表示的scala的版本号。前面的版本号是编译 Kafka 源代码的 Scal...原创 2020-09-03 17:22:33 · 2837 阅读 · 0 评论 -
apache Kafka 概述
Apache KafkaApache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-criticalapplications.Kafka 最初是由LinkedIn公司采用Scala语言原创 2020-09-03 10:19:56 · 278 阅读 · 0 评论 -
Debezium 将MongoDB同步到kafka(待完善验证)
-- 登录mongo查询:./mongo --host 10.19.166.249 --port 27017testrs:PRIMARY> rs.status()配置文件:#vim mongodb.propertiesname=mongoconnector.class=io.debezium.connector.mongodb.MongoDbConnectormongodb...原创 2019-04-09 18:11:42 · 2060 阅读 · 0 评论 -
Debezium MySQL 同步到kafka
支持的jar包文件下载:https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.9.3.Final/debezium-connector-mysql-0.9.3.Final-plugin.tar.gzhttps://repo1.maven.org/maven2/io/debezium/debezium-co...原创 2019-04-03 20:23:48 · 1808 阅读 · 1 评论 -
confluent 同步SQL server 2017数据到kafka
配置文件:SQL server开启ALTER DATABASE TestDB SET CHANGE_TRACKING = ON (CHANGE_RETENTION = 3 DAYS, AUTO_CLEANUP = ON)goALTER TABLE [TestDB].dbo.[orders] ENABLE CHANGE_TRACKING WITH (TRACK_COLUMNS_UP...原创 2019-04-09 17:39:29 · 844 阅读 · 0 评论 -
CentOS 7 部署CDH6.2中的kudu+impala
在kudu 1.8版本之前提供repo 可rpm安装部署,1.9版本则值提供源码包安装部署.安装的版本CDH6.2版本中的kudu1.9+impala3.2: 需要预先下载jar包:wget http://central.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.2.1.jre7/mssql-jdbc-6.2.1.jr...原创 2019-04-03 15:47:59 · 3504 阅读 · 1 评论 -
Debezium SQL server 2017同步到kafka
--启动kafka:kafka-server-start.sh /usr/local/kafka/config/server.properties &配置文件:# vim mssql.propertiesname=mssqlconnector.class=io.debezium.connector.sqlserver.SqlServerConnectortasks.max...原创 2019-04-09 15:05:09 · 2557 阅读 · 0 评论 -
SQL server 发kafka
前置条件:SQL server 2017至少支持SQL server 2016 SP1版本,需要开启CDC功能。1.运行环境:centos72.前置条件准备:docker和docker-compose# docker versionClient: Version: 18.09.1 API version: 1.39 Go version:...原创 2019-04-03 11:03:13 · 963 阅读 · 1 评论 -
Debezium 介绍及其使用场景
简介:What is Debezium?Debezium is a set of distributed services that capture row-level changes in your databases so that your applications can see and respond to those changes. Debezium records in ...原创 2019-04-02 10:30:58 · 4524 阅读 · 0 评论 -
kafka单机部署
1.java部署2.zookeeper部署3.kafka部署:# tar -xzvf jdk-8u192-linux-x64.tar.gz -C /usr/local/# cat /etc/profile.d/java.sh export JAVA_HOME=/usr/local/jdk1.8.0_192export PATH=$JAVA_HOME/bin:$PATH...原创 2019-03-26 16:33:45 · 745 阅读 · 0 评论 -
confluent community 体验
hub 地址:https://www.confluent.io/hub/1.安装必须的软件:sudo yum install curl which2.导入:sudo rpm --import https://packages.confluent.io/rpm/5.2/archive.key3.添加仓库:在目录/etc/yum.repos.d目录下新建文件 confluent.re...原创 2019-04-04 01:50:19 · 1356 阅读 · 3 评论 -
数据交换工具
在互联网企业,更多的是利用开源组件来负责更加专业的细分领域的事情。数据存储:MySQLMongoDBRedisNeo4j较为传统的软件使用数据库:SQL serverOraclepostgresql当有数据搜索和大数据分析、AI处理的时候还是会将业务数据的数据同步或抽取到专用的数据库:此时就需要各种开源的方案。一般会考虑数据怎么进入到某个组件,进入了某组件之后数据怎么出来...原创 2019-03-26 12:17:31 · 2028 阅读 · 0 评论 -
oracle goldengate for bigdata
-- 安装需要的软件包:# yum -y install rlwrap unzip-- 解压软件:# unzip OGG_BigData_Linux_x64_12.3.2.1.1.zip Archive: OGG_BigData_Linux_x64_12.3.2.1.1.zip inflating: OGGBD-12.3.2.1-README.txt inflating: ...原创 2019-02-19 15:16:40 · 1788 阅读 · 0 评论 -
使用ansible 搭建kafka集群
软件版本:ansiblezookeeperkafka下载代码:$git clone https://github.com/pingcap/thirdparty-ops安装之前的准备工作:# yum -y install epel-release ansible curl...Dependencies Resolved=====================...原创 2019-02-28 12:09:22 · 2298 阅读 · 0 评论 -
Linux 下kafka集群搭建
主机的IP地址:主机IP地址 zookeeper kafka10.19.85.149 myid=1 broker.id=110.19.15.103 myid=2 broker.id=210.19.189.221 myid=3 broker.id=3配置文件:# cat zoo.cfgtickTime=2000initLimit=10sy...原创 2018-08-31 14:54:21 · 949 阅读 · 0 评论 -
kafka 报错:kafka server:Message was too large ,server rejected it to avoid allocation
kafka报错信息:kafka server:Message was too large ,server rejected it to avoid allocation kafka版本:kafka 1.1.0版本。原因分析:查看kafka配置,默认单条消息最大为1M,当单条消息长度超过1M时,就会出现发送到broker失败,从而导致消息在producer的队列中一直累积,直到撑爆生...原创 2018-08-31 12:16:03 · 6299 阅读 · 0 评论