Leaf的源码阅读

Leaf Leaf是美团开源的一款的唯一ID生成器,具体可以参考https://github.com/Meituan-Dianping/Leaf的介绍,文档写的很好,大家一定能够明白软件背后想要解决的问题。我们还是来简单总结下唯一ID系统的目标,帮助大家更好的了解接下来的内容介绍。 系统方面 ...

2019-04-18 17:28:58

阅读数 74

评论数 0

分布式事务框架Seata--TC源码解析

TC是什么 Transcation Coordinate(TC),分布式事务中协调者的角色,管理全局事务的状态信息,包括全部事务的开启、提交、回滚管理,分支事务的注册、提交、回滚、状态上报。 Seata的TC启动方式: sh fescar-server.sh $LISTEN_POR...

2019-04-17 17:37:27

阅读数 382

评论数 0

分布式事务框架Seata---demo搭建指南

分布式事务框架(Seata)介绍 Seata:Simple Extensible Autonomous Transaction Architecture,简易可扩展的自治式分布式事务管理框架,其前身是fescar。阿里巴巴GTS的开源版实现,是一种分布式事务的解决方案,详情请参看seata官方文...

2019-04-15 21:50:48

阅读数 8429

评论数 3

TasksetManager冲突导致SparkContext异常关闭

背景介绍 当正在悠闲敲着代码的时候,业务方兄弟反馈接收到大量线上运行的spark streaming任务的告警短信,查看应用的web页面信息,发现spark应用已经退出了,第一时间拉起线上的应用,再慢慢的定位故障原因。本文代码基于spark 1.6.1。 问题定位 登陆到线上机器,查看错...

2017-03-16 10:24:24

阅读数 1063

评论数 0

微服务的单体应用的优缺点对照

单体应用的不足 逻辑复杂、模块耦合、代码臃肿,修改难度大,版本迭代效率低下 系统启动慢,一个进程包含了所有的业务逻辑,涉及到的启动模块过多,导致系统的启动、重启时间周期过长 系统错误隔离性差、可用性差,任何一个模块的错误均可能造成整个系统的宕机 可伸缩性差;系统的扩容只能只对这个应用进行扩容,不能...

2016-09-30 14:19:13

阅读数 4871

评论数 0

stream的job的产生

Stream中Job的生成 大家可以通过参考spark的官网快速的开发一个属于自己的spark stream程序,然后提交job到指定的spark集群完成流任务的运行;或者直接通过local模式在本地环境中运行,但却很少有人能够清楚的叙述其运行的原理,本文将着重介绍streaming的程序是如...

2016-09-06 19:38:12

阅读数 277

评论数 0

Spark Streaming源码简介

Spark Streaming简介 spark streaming是构建在spark core之上,提供的可扩展、高吞吐、容错的实时流处理模块,它能接受来自kafka、flume、tcp各种渠道的数据,进行用户定义的各种Map、Reduce计算,最终将数据继承到文件系统、HDFS、Hbase这...

2016-08-29 22:07:11

阅读数 420

评论数 0

spark streaming流量控制

随着计算机机硬件的快速发展,机器的内存大小也从原来的以兆为单位到现在的上百G,这也推动了分布式计算从原来的基于硬盘存储发展到现在的基于内存存储,spark作为实时计算的佼佼者也逐渐的走上了大规模商业应用的道路,spark streaming常常用在实时流计算的各个领域,在这一章节我们主要讲解一下s...

2016-08-26 21:21:35

阅读数 1391

评论数 0

Spark集群容错场景介绍

容错指的是一个系统在部分模块出现故障时还能否持续的对外提供服务,一个高可用的系统应该具有很高的容错性;对于一个大的集群系统来说,机器故障、网络异常等都是很常见的,spark这样的大型分布式计算集群提供了很多的容错机制来提高整个系统的可用性,在接下来的部分中我们会讨论spark如应对各种模块异常 ...

2016-08-26 16:53:25

阅读数 2252

评论数 0

zookeeper简介

zookeeper是一款分布式的、开源的协调系统,用于为分布式系统中提供配置、同步、命名、分组、协调服务,将应用从复杂的协调场景下解脱出来。zookeeper是由多个分布式节点组成的一个统一服务,整体架构如下图, 客户端只需要和一个zk节点建立连接,通过这个连接的节点读取已有的数据或者写入新...

2016-04-21 21:02:26

阅读数 255

评论数 0

hdfs脚本介绍

HDFS相关脚本介绍 简介 本篇主要介绍hdfs整个系统的脚本部分,通过脚本来介绍hdfs文件系统的启动、停止等操作;该篇是基于hadoop-2.6.2的版本进行说明。hdfs的脚本主要位于三个地方,其中$HADOOP_HOME/sbin放置了一些应用层面相关的脚本,如start-dfs.sh等系...

2016-03-05 22:17:08

阅读数 229

评论数 0

spark本地java开发环境的搭建

基于Java开发Spark HelloWorld 绪论          对于学习任何一门新的开发语言或者新的技术,常常都是从HelloWorld开发写起,文章主要介绍在本地环境下如何构建Spark的开发环境,进而开发一个HelloWorld程序,提交运行HelloWorld。 环境的搭建 ...

2015-12-11 15:18:06

阅读数 1886

评论数 0

RMI原理详解

RMI原理详解 绪论 RMI(Remote Method Invoke),远程方法调用框架,JDK自带的一个远程过程调用框架。用户可以基于RMI框架构建自己的分布式应用,RMI为客户端和服务器之间提供底层的通信服务。 主要组成部分       RMI主要包括注册中心、跨JVM实例的内存...

2015-08-14 21:36:47

阅读数 79

评论数 0

Spring中利用AOP对领域对象(非依赖注入的对象,如new操作符、反射的方式生存的对象)下面是spring配置文件的一部分 <context:load-time-weaver /> <be

Spring中利用AOP对领域对象(非依赖注入的对象,如new操作符、反射的方式生存的对象)下面是spring配置文件的一部分     context:load-time-weaver />           springDomainDo类声明如下 @Conf...

2014-07-10 23:10:55

阅读数 852

评论数 0

提示
确定要删除当前文章?
取消 删除