关闭

基于canal数据加工系统

数据加工系统开发文档1.数据加工系统主流程2.服务介绍整个框架由4个服务组成:canal-server、canal-client、bimq-consumer、crm-bi-task四个服务组成 canal-server:主要负责获取mysql服务器的binlog日志,按照用户提交的事务维度解析为结构化数据,然后存储于内存中,并提供tcp服务。canal-client:通过connect到canal...
阅读(81) 评论(0)

阿里中间件canal学习笔记

Canal学习记录canal启动过程在canal中一个server中可以包含多个instance,每个instance对应着不同数据库中的不同表格的数据变更。举例说明就是:你可以启动一个server(对应一个netty服务或者jvm服务),在改server中可以有两个instance,一个对应highso库中的crmchance表的数据变更,另外一个对应着order表的数据变更 1. server...
阅读(66) 评论(0)

elasticjob接入方式和管理端使用

1.elasticjob接入方式1.1 加入依赖 com.dangdang elastic-job-lite-core 2.1.5 com.dang...
阅读(58) 评论(0)

elasticjob分布式任务调度中间件

1.elasticjobelasticjob是当当开源的分布式定时任务调度方案,其可用于替代quartz-db的分布式定时调度框架,并且支持单个任务的分片处理。其中分布式集群定时调度框架,需要解决的主要问题是:如何保证当个任务只会在集群中一台机器上执行。 quartz-db是通过对QRTZ_LOCKS表中的trigger记录进行加互斥锁(select for update),从而保证集群中只有一个...
阅读(96) 评论(0)

Quartz定时任务执行原理分析

1.定时任务执行原理在java中常见的定时调度方案有:ScheduledExecutorService和quartz两种方案。其本质上都是通过native的wait方法来实现的.1.1 ScheduledExecutorService定时执行原理ScheduledExecutorService的schedule方法,其根据delay周期性的执行任务。public ScheduledFuture...
阅读(109) 评论(0)

swap.used.percent占比较高异常排查

怀疑1:分配的活跃虚拟内存大于物理内存jvm参数配置有问题(java8):java8已经移除掉perm内存,使得-XX:MaxPermSize=256m无效;JVM配置 CUSTOM_JVM = -Xmx5g -Xms5g -Xmn2g -server -XX:PermSize=128m -XX:MaxPermSize=256m -XX:+PrintCommandLineFlags -XX:+Use...
阅读(1492) 评论(0)

集群脑裂问题分析

1.什么是集群脑裂集群的脑裂通常是发生在集群中部分节点之间不可达而引起的(或者因为节点请求压力较大,导致其他节点与该节点的心跳检测不可用)。当上述情况发生时,不同分裂的小集群会自主的选择出master节点,造成原本的集群会同时存在多个master节点。2.elasticsearch集群的脑裂假设已经有安装好elasticsearch集群的三台机器:192.168.31.88 hadoop-maste...
阅读(2164) 评论(0)

redis-cluster通用java接口

1.redis-cluster通过结合jedis和spring-data-redis包开发的一个简易方便的redis 集群访问接口。对于redis-cluster方式集群安装参照:http://blog.csdn.net/cweeyii/article/details/712989052 redis-cluster接口整个工程代码:https://github.com/cweeyii/redis-p...
阅读(706) 评论(0)

redis集群和安装

1.redis集群和常见集群的区别我们以elasticsearch集群架构方案和redis集群方案做对比分析,redis集群的优点。 优点:因为redis是一个内存数据库,因此其采用无中心化的集群架构,使得与传统的中心节点转发的方式相比,其并发量和吞吐量都更大,并且不会因为中心节点压力过大影响集群的性能。redis cluster节点分配:假设我们有三个主节点分别是:A, B, C 三个节点,...
阅读(276) 评论(0)

elasticsearch查询语句篇

1.ElasticSearch基本概念elasticsearch基本概念见:https://es.xiaoleilu.com/010_Intro/05_What_is_it.html 集群模式安装:http://blog.csdn.net/cweeyii/article/details/710558842. 重点概念 搜素类型(searchType) 特别是你需要检索出满足条件的文档数量时,可以...
阅读(744) 评论(0)

elasticsearch原理篇

1.elasticsearch元素简介 node、replica和shard node表示elasticsearch集群中的一台虚拟机机器,其作用是提升分布式应用的容错性和可用性。其中每个虚拟机(节点)只有一个索引的所有shards的一部分。 replica相对于数据的备份,其主要是表示一个索引的备份,其通过number_of_replicas来设置除主数据索引外,还有多少个备份索引。类似于数据...
阅读(619) 评论(0)

elasticsearch集群安装

1.假设已经准备了三台linux机器(可以采用虚拟机virtualbox安装,并且以桥接方式配置网络,使得三台linux机器都有不同的局域网ip)。在每台机器的/etc/hosts目录下配置域名映射关系192.168.31.71 mac1 192.168.31.112 mac2 192.168.31.12 mac32.下载elasticsearch安装包(注意最好不要下载最新版本,因为新版有些插件不...
阅读(246) 评论(0)

mysql的事务和锁

mysql的事务具有ACID的特性。...
阅读(174) 评论(0)

mysql可重复读和幻读实例

mysql的默认事务级别是:可重复读 其中可重复读是通过mvcc来实现的又叫快照读,在事务中的读操作通过对当前的数据库中记录一个版本,以后的读操作只会读取记录的版本,因此相当于对数据库的数据建立了一个快照数据,因此叫做快照读,其不用对数据库中的数据进行加锁又叫做乐观锁。 同时RR事务级别的mysql通当前读和gap锁来解决幻读,其本质是通过对数据库周边记录进行加悲观锁(读锁(共享锁)和互斥锁(写...
阅读(1796) 评论(0)

分布式业务系统的一致性

单机系统因为业务的变更会使得整个系统越来越复杂,整个代码也越来庞大,基于业务的重新划分或者整个工程的重构会将一个单机系统划分多个分布式的系统。以前能够在一个单机事务的完成的操作(ACID)需要变成多个单机事务,同时需要一个中间协调组件来各个单机事务的一致性。对于强一致性要求分布式业务系统的操作能够同步的返回结果,要么成功(分布式事务提交),要么失败或者多次重试后还是超时(分布式事务回滚)。对于最终一...
阅读(202) 评论(0)
46条 共4页1 2 3 4 下一页 尾页
    个人资料
    • 访问:28141次
    • 积分:682
    • 等级:
    • 排名:千里之外
    • 原创:42篇
    • 转载:4篇
    • 译文:0篇
    • 评论:3条
    最新评论