aikyyu26486-CSDN博客

转载增量数据同步中间件DataLink分享（已开源）

项目介绍名称： DataLink['deitə liŋk]译意：数据链路，数据（自动）传输器语言：纯java开发（JDK1.8+）定位：满足各种异构数据源之间的实时增量同步，一个分布式、可扩展的数据同步系统开源地址：https://github.com/ucarGroup/DataLink此次开源为去除内部依赖后的版本（开源的是增量同步子系统），在集团内部datalink和...

2018-10-11 10:26:00 1243

转载 HDFS租约实践

一、租约详解Why租约HDFS的读写模式为 "write-once-read-many"，为了实现write-once，需要设计一种互斥机制，租约应运而生租约本质上是一个有时间约束的锁，即：在一定时间内对租约持有者（也就是客户端）赋予一定的权限HDFS租约模型<Lease>Lease和DFSClient的对应关系为一对一（即：在Hdfs-Server端，为每个...

2018-01-05 07:26:00 812

转载（神州优车）数据交换平台架构分享

一、数据交换平台定义（百度百科）数据交换平台是指将分散建设的若干应用信息系统进行整合，通过计算机网络构建的信息交换平台，它使若干个应用子系统进行信息/数据的传输及共享，提高信息资源的利用率，成为进行信息化建设的基本目标，保证分布异构系统之间互联互通，建立中心数据库，完成数据的抽取、集中、加载、展现，构造统一的数据处理和交换。二、Why数据交换平台?1.分布式的需要PS：(分布式出...

2018-01-02 14:22:00 785

转载 kafka副本机制之数据可靠性

一、概述　　为了提升集群的HA，Kafka从0.8版本开始引入了副本（Replica）机制，增加副本机制后，每个副本可以有多个副本，针对每个分区，都会从副本集（Assigned Replica，AR）中，选取一个副本作为Leader副本，所有读写请求都由Leader副本处理，其余的副本被称为Follwer副本，其会从Leader副本拉取消息更新到本地。因此，Follower更像是Le...

2018-01-01 15:58:00 464

转载 StreamCQL编写jstorm拓扑任务入门

一,什么是 StreamCQLStreamCQL(Stream Continuous Query Language)是一个类似SQL的声明式语言, 目的是在流计算平台(目前也就是jstrom)的基础之上提供简单易用的类SQL语言,从而能够降低开发人员开发流计算拓扑的门槛,使得相关拓扑任务的开发人员能够不用把精力耗费在如何编写实时任务的本身的技术之上,而是可以投入更多精力在实时任务的业...

2017-12-27 14:37:00 390

转载 HBase0.98使用ReplicationAdmin管理集群同步

公司datalink平台负责从各种数据源读取数据并同步到其他的同步或者异构数据源，最近增加的HBase的reader利用到了Hbase的Replication特性。正常情况下，我们配置HBase的Replication需要在主集群上Hbase的shell里进行如下一系列的配置。登录到HMaster节点，打开Hbase的shell命令行，我们进行如下步骤：1、打开主节点里要参与...

2017-12-27 11:29:00 342

转载 ZooKeeper保证之单一视图（Single System Image）

由于ZooKeeper的数据模型简单且全部在内存中，ZooKeeper的速度非常快。它提供了一系列保证（Guarantees）： • 顺序一致性（Sequential Consistency） • 原子性（Atomicity） • 单一视图（Single System Image） • 可靠性（Reliability） • 实时性（Timeliness）下面将...

2017-12-26 17:43:00 460

转载初识ZooKeeper

一、ZooKeeper是什么？ZooKeeper是一个高性能的分布式协调服务。那么什么又是分布式协调服务呢？背景：互联网的快速发展以及对系统性能要求的不断提高，使计算机系统由集中式逐渐衍变成分布式。分布式系统的出现，大幅度提高了系统的整体处理速度、降低了对单台服务器硬件的需求、减少了由于单点问题导致的系统不可用的情况。如图所示，同样一个系统A，流量较小时，单台服务...

2017-12-26 09:17:00 289

转载 elasticsearch 源码本地环境搭建

elasticsearch6.0.0 源码本地环境搭建步骤如下：1、资源准备ElasicSearch版本：6.0.0： https://github.com/elastic/elasticsearch安装jdk(jdk1.8以上，本人用的是1.8.0_131)安装gradle(3.3以上，本人用的是4.3.1) 需要安装环境变量网上有好多，下载地址 http:/...

2017-12-20 13:55:00 674

转载 Cat 跨线程之 TaggedTransaction 用法和原理分析

代码package com.dianping.cat.message.internal;import com.dianping.cat.Cat;import com.dianping.cat.message.Message;import com.dianping.cat.message.Transaction;import org.junit.After;...

2017-11-15 11:58:00 701

转载 Cat 跨线程之 ForkedTransaction 用法和原理分析

代码package com.dianping.cat.message.internal;import com.dianping.cat.Cat;import com.dianping.cat.message.ForkedTransaction;import com.dianping.cat.message.Message;import com.dianping...

2017-11-15 11:48:00 390

转载如何在yarn上运行Hello World(二)

在之前的一篇文章我们介绍了如何编写在yarn集群提交运行应用的AM的yarnClient端,现在我们来继续介绍如何编写在yarn集群控制应用app运行的核心模块 ApplicationMaster.首先,介绍下我们要在yarn集群上运行的应用程序 HelloWorld.这个应用很简单,就是一个主函数,启动的时候打印一句话表明应用已经启动,结束的时候打...

2017-11-14 20:25:00 824

转载 jest for elasticsearch

*elasticsearch（后面简称es）背景：目前项目应用中对es的操作用的是http（自己封装）的一套方法；有些数据处理起来还是需要定制开发处理，不是很方便。正好需要对本项目重新进行改造，于是采用第三方工具包jest 对es的操作进行重新的梳理改造。why use jest官方有个大致的介绍：Jest is a Java HTTP Rest client for Elas...

2017-11-13 14:13:00 298

转载如何在yarn上运行Hello World(一)

1.YARN是什么YARN (Yet Another Resource Negotiator，另一种资源协调者) 是hadoop上的一种资源调度器,它是一个通用资源管理系统,可以为上层应用提供统一的资源管理和调度.2.yarn的结构YARN的结构是一个典型的主从结构(MASTER/SLAVER)其中的ResourceManage...

2017-11-10 17:40:00 564

转载 Cat 客户端如何构建调用链消息树

场景 & 代码Inner0 中的某方法调用了 Inner1，代码Inner1的代码很简单，Cat通过一个线程本地变量来保存调用链的相关信息，其中核心的数据结构是消息树和操作栈。消息树用来存数据，操作栈用来构建节点的层次关系。在上面的调用过程中，这两个数据结构状态的变化如下更复杂的场景数据的变化过程转载于:https://ww...

2017-11-09 19:41:00 524

转载 Cat 客户端采用什么策略上报消息树

策略分类目前搞清楚两种第一种（蓝色）：默认服务器列表中选一个，算法核心是根据应用名的哈希值取模。也就是说同一个应用始终打到同一台服务器上，如果这台服务器挂了，另选一台服务器。第二种（红色）：应用指定服务器列表。处理逻辑：第一步是找应用列表，先找应用指定的，没有的话，然后一堆判断，最后找默认的服务器列表第二步，选出3台服务器，客户端上报用第一台，如果第一...

2017-11-09 18:29:00 617

aikyyu26486的博客