排序:
默认
按更新时间
按访问量

基于canal数据加工系统

数据加工系统开发文档1.数据加工系统主流程2.服务介绍整个框架由4个服务组成:canal-server、canal-client、bimq-consumer、crm-bi-task四个服务组成 canal-server:主要负责获取mysql服务器的binlog日志,按照用户提交的事务维度解析为...

2017-11-14 23:38:38

阅读数:493

评论数:0

阿里中间件canal学习笔记

Canal学习记录canal启动过程在canal中一个server中可以包含多个instance,每个instance对应着不同数据库中的不同表格的数据变更。举例说明就是:你可以启动一个server(对应一个netty服务或者jvm服务),在改server中可以有两个instance,一个对应hi...

2017-11-14 23:20:53

阅读数:2231

评论数:0

elasticjob接入方式和管理端使用

1.elasticjob接入方式1.1 加入依赖<dependency> <groupId>com.dangdang</groupId> <artifactId>elastic-job-lite-core</artifactId...

2017-10-11 23:41:17

阅读数:325

评论数:0

elasticjob分布式任务调度中间件

1.elasticjobelasticjob是当当开源的分布式定时任务调度方案,其可用于替代quartz-db的分布式定时调度框架,并且支持单个任务的分片处理。其中分布式集群定时调度框架,需要解决的主要问题是:如何保证当个任务只会在集群中一台机器上执行。 quartz-db是通过对QRTZ_LO...

2017-10-11 23:34:13

阅读数:900

评论数:0

Quartz定时任务执行原理分析

1.定时任务执行原理在java中常见的定时调度方案有:ScheduledExecutorService和quartz两种方案。其本质上都是通过native的wait方法来实现的.1.1 ScheduledExecutorService定时执行原理ScheduledExecutorService的s...

2017-10-09 23:21:16

阅读数:1445

评论数:0

swap.used.percent占比较高异常排查

怀疑1:分配的活跃虚拟内存大于物理内存jvm参数配置有问题(java8):java8已经移除掉perm内存,使得-XX:MaxPermSize=256m无效;JVM配置 CUSTOM_JVM = -Xmx5g -Xms5g -Xmn2g -server -XX:PermSize=128m -XX:...

2017-06-06 18:30:43

阅读数:3576

评论数:1

集群脑裂问题分析

1.什么是集群脑裂集群的脑裂通常是发生在集群中部分节点之间不可达而引起的(或者因为节点请求压力较大,导致其他节点与该节点的心跳检测不可用)。当上述情况发生时,不同分裂的小集群会自主的选择出master节点,造成原本的集群会同时存在多个master节点。2.elasticsearch集群的脑裂假设已...

2017-05-16 23:19:25

阅读数:13215

评论数:0

redis-cluster通用java接口

1.redis-cluster通过结合jedis和spring-data-redis包开发的一个简易方便的redis 集群访问接口。对于redis-cluster方式集群安装参照:http://blog.csdn.net/cweeyii/article/details/712989052 redi...

2017-05-07 20:38:32

阅读数:1535

评论数:0

redis集群和安装

1.redis集群和常见集群的区别我们以elasticsearch集群架构方案和redis集群方案做对比分析,redis集群的优点。 优点:因为redis是一个内存数据库,因此其采用无中心化的集群架构,使得与传统的中心节点转发的方式相比,其并发量和吞吐量都更大,并且不会因为中心节点压力过大影...

2017-05-06 20:52:29

阅读数:643

评论数:0

elasticsearch查询语句篇

1.ElasticSearch基本概念elasticsearch基本概念见:https://es.xiaoleilu.com/010_Intro/05_What_is_it.html 集群模式安装:http://blog.csdn.net/cweeyii/article/details/7105...

2017-05-01 22:44:08

阅读数:3406

评论数:0

elasticsearch原理篇

1.elasticsearch元素简介 node、replica和shard node表示elasticsearch集群中的一台虚拟机机器,其作用是提升分布式应用的容错性和可用性。其中每个虚拟机(节点)只有一个索引的所有shards的一部分。 replica相对于数据的备份,其主要是表示一个索...

2017-05-01 19:58:37

阅读数:1668

评论数:0

elasticsearch集群安装

1.假设已经准备了三台linux机器(可以采用虚拟机virtualbox安装,并且以桥接方式配置网络,使得三台linux机器都有不同的局域网ip)。在每台机器的/etc/hosts目录下配置域名映射关系192.168.31.71 mac1 192.168.31.112 mac2 192.168.3...

2017-05-01 14:45:52

阅读数:422

评论数:0

mysql的事务和锁

mysql的事务具有ACID的特性。

2017-04-29 22:56:23

阅读数:462

评论数:0

mysql可重复读和幻读实例

mysql的默认事务级别是:可重复读 其中可重复读是通过mvcc来实现的又叫快照读,在事务中的读操作通过对当前的数据库中记录一个版本,以后的读操作只会读取记录的版本,因此相当于对数据库的数据建立了一个快照数据,因此叫做快照读,其不用对数据库中的数据进行加锁又叫做乐观锁。 同时RR事务级别的my...

2017-04-29 22:54:27

阅读数:6024

评论数:1

分布式业务系统的一致性

单机系统因为业务的变更会使得整个系统越来越复杂,整个代码也越来庞大,基于业务的重新划分或者整个工程的重构会将一个单机系统划分多个分布式的系统。以前能够在一个单机事务的完成的操作(ACID)需要变成多个单机事务,同时需要一个中间协调组件来各个单机事务的一致性。对于强一致性要求分布式业务系统的操作能够...

2017-04-27 00:05:14

阅读数:429

评论数:0

Java开发规范精要

1.命名规则 代码中的命名严禁使用拼音与英文混合的方式,更不允许直接使用中文的方式。 类名使用 UpperCamelCase 风格,必须遵从驼峰形式,但以下情形例外:(领域模型 的相关命名)DO / BO / DTO / VO等。 正例:MarcoPolo / UserDO / XmlServi...

2017-04-20 15:10:07

阅读数:650

评论数:0

分布式中间件系统的一致性和可用性

对于单机系统和集中系统是指一台或多台主计算机组成的中心节点,并数据和业务处理逻辑都集中于这个中心节点上,客户端仅仅负责数据的录入和展示。集中式系统的最大优点就是部署简单,同时不需要考虑分布式系统的协作问题。1.单机系统的可用性和一致性(ACID)对于单机系统最主要的指标就是数据的一致性和可用性。其...

2017-04-18 23:06:39

阅读数:1257

评论数:0

Spring对象生命周期控制

1.Spring中常用对象Spring框架中最常用对象有两个:BeanFactory和Bean。1.1 BeanFactoryBeanFactory作用是:保存所有bean名字、类型等和beanDefinition的映射关系,以及保存实力化后单例bean名字、类型等和bean对象的映射关系。其中M...

2017-01-08 20:18:26

阅读数:2818

评论数:0

分布式Hive环境安装

1.HIVE安装hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce...

2017-01-08 20:01:58

阅读数:1821

评论数:0

从零开始hadoop分布式环境搭建

1. Linux虚机换机环境安装1.1 linux环境安装1.建议选择虚拟机:VirtualBox 2.Linux版本:Ubuntu 3.安装时选择动态扩展磁盘,最大磁盘容量50G(最大磁盘容量太小,hadoop使用过程中容易出现意想不到的的问题) 4.网络选择桥接网卡(不要选择NAT,不然...

2017-01-07 12:51:18

阅读数:1995

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭