canal动态加载

CanalController.java CanalController中和配置相关的代码: public class CanalController { // 默认使用spring的方式载入 // <destination,InstanceConfig&...

2019-04-12 16:35:46

阅读数 10

评论数 0

PartitionedAppendOnlyMap和PartitionedPairBuffer的区别

1.继承关系不太一样,如下图所示: 我们可以看到PartitionedAppendOnlyMap是间接的继承SizeTracker获得估算容量的功能,数据存在父类AppendOnlyMap的data数组中,而PartitionedPairBuffer是数据就存在该类的data数组中,并且是直...

2019-03-20 15:17:04

阅读数 31

评论数 0

spark源码-PartitionedAppendOnlyMap

/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * ...

2019-03-20 11:32:58

阅读数 27

评论数 0

spark源码-AppendOnlyMap类

/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * ...

2019-03-20 11:31:46

阅读数 20

评论数 0

spark源码-WritablePartitionedPairCollection特质

/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * ...

2019-03-19 11:59:17

阅读数 21

评论数 0

spark源码-SizeTracker特质

/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * ...

2019-03-19 11:27:25

阅读数 14

评论数 0

Kafka的Log存储解析

引言 Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观...

2019-02-25 21:33:13

阅读数 48

评论数 0

Flink流计算编程--watermark(水位线)简介

1、watermark的概念 watermark是一种衡量Event Time进展的机制,它是数据本身的一个隐藏属性。通常基于Event Time的数据,自身都包含一个timestamp,例如1472693399700(2016-09-01 09:29:59.700),而这条数据的waterm...

2019-02-20 10:07:51

阅读数 31

评论数 0

CentoOS6.6安装netcat

CentOS下安装netcat 使用zookeeper过程中,需要监控集群状态。在使用四字命令时(echo conf | nc localhost 2181),报出如下错误:-bash: netcat: command not found。 我的系统是CentOS 6.6, 64位系统,默认没有安...

2019-01-23 11:16:18

阅读数 34

评论数 0

什么时候使用CountDownLatch

正如每个Java文档所描述的那样,CountDownLatch是一个同步工具类,它允许一个或多个线程一直等待,直到其他线程的操作执行完后再执行。在Java并发中,countdownlatch的概念是一个常见的面试题,所以一定要确保你很好的理解了它。在这篇文章中,我将会涉及到在Java并发编 程中跟...

2018-12-18 17:28:13

阅读数 26

评论数 0

Kafka源码分析-Producer-BufferPool

注:本文依赖于kafka-0.10.0.1-src  我们都知道kafka生产者send一条记录(record)后并没有直接发送到kafka服务端,而是先将它保存到内存(RecordAccumulator)中,用于压缩之后批量发送,这里内存的创建和释放是比较消耗资源的,为了实现内存的高效利用,基...

2018-12-18 16:21:48

阅读数 29

评论数 0

Kafka0.10.0版本源码环境搭建

本文主要讲述的是如何搭建Kafka的源码环境,主要针对的Windows操作系统下IntelliJ IDEA。 1.安装和配置JDK 最低需要jdk7,我安装的是jdk1.8. C:\Users\liwenqing>java -version java version ...

2018-12-18 10:37:52

阅读数 186

评论数 0

kafka官方文档中文

https://blog.csdn.net/memoordit/article/details/78850138

2018-12-07 15:52:43

阅读数 180

评论数 0

Kafka系列之broker配置

本文档的参数主要针对是kafka 0.10.0版本。 更多信息可以查看:官方文档 kafka broker 配置 对应kafka安装目录config/server.properties文件的配置 broker.id 每一个Kafka的broker都有一个整数的标识。我们设置brok...

2018-12-07 11:27:17

阅读数 202

评论数 0

创建并构建一个简单的maven项目

创建一个简单的项目 开始一个新的Maven项目,在命令行使用Maven Archetype插件。   D:\data\src>mvn archetype:generate -DgroupId=com.lwq.www -DartifactId=simple -Dc om....

2018-11-26 16:49:55

阅读数 101

评论数 0

maven简介及使用help插件

什么是maven? Maven是一个项目管理工具,它包含了一个项目对象模型 (Project Object Model),一组标准集合,一个项目生命周期(Project Lifecycle),一个依赖管理系统(Dependency Management System),和用来运行定义在生命周期阶...

2018-11-26 16:35:37

阅读数 168

评论数 0

df命令和du命令-个人

什么是df命令? 有时你需要知道在某个设备上还有多少磁盘空间。df命令可以让你很方便地查看所有已挂载 磁盘的使用情况。   $ df Filesystem 1K-blocks Used Available Use% Mounted on /dev/sda2 18251068 7703964 ...

2018-11-22 14:56:35

阅读数 26

评论数 0

linux中的ps命令常用参数-个人

ps命令是什么? ps命令能够给出当前系统中进程的快照。它能捕获系统在某一时间的进程状态。如果想要不断更新查看这个状态,可以配合watch命令或使用top命令 ps命令支持三种语法格式: Unix风格的参数,前面加单破折线 BSD风格的参数,前面不加破折线 GNU风格的长参数,前面加双破...

2018-11-22 11:32:52

阅读数 179

评论数 0

<ps> ps aux 和ps -aux和 ps -ef的选择

Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照,就是执行ps命令的那个时刻的那些进程,如果想要动态的显示进程信息,就可以使用top命令。  要对进程进行监测和控制,首先必须要了解当前进程的情况,也就是需要查看...

2018-11-20 11:38:52

阅读数 82

评论数 0

canal中持久化到zookeeper的结构

从canal源码注释看到持久化到zookeeper的目录树:    /otter/canal:canal的根目录 /otter/canal/cluster:整个canal server的集群列表 /otter/canal/destinations:destination的根目录 /o...

2018-11-19 16:35:12

阅读数 335

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭