dubbo实现esb_基于Dubbo等技术的分布式框架(ESB+大数据).pptx

基于Dubbo等技术的分布式框架(ESB+大数据)部项目介绍基本介绍：基于公司自有产品TopLink，扩充以阿里框架Dubbo以及RabbitMQ实现JAVA系统之间直连通讯，并配合大数据实时日志分析实现交易监控的轻量级ESB系统架构。项目特点：分布式架构，支持大并发动态部署，实现接入系统不停机发布借助大数据实时日志分析，将交易和监控分离大数据日志分析实现客户数据隐私保护，契合十三五信息安全规划市场调研前期已经与泰康人寿、中信证券、阳光人寿、华泰人寿4家公司进行了沟通，对我们在太保的ESB方案(含大数据部分)有非常大得兴趣，但也提出了不同的需求。现有应用比较多的基本是IBM或者Oracle的ESB产品，全部是基于WebService实现SOA思想，弊端众多(性能不高等)除几家大保险公司外，更多的保险公司暂时还没有ESB平台。该平台不局限于保险公司。背景SOA！传统的ESB？互联网分布式架构？WebService？效率低下！大而全？合适就好？交易监控从通讯中剥离背景介绍—基于TopLink交易集成平台支持了2014年寿险开门红7万PAD，12万保单的业务量系统成果：尽可能保持与原交易的兼容，使各系统在无需重大调整情况完成对接，为各系统节省开发时间；自该系统上线后，逐步承接了较多寿险新建移动应用的接入(如微信平台、移动CRM等)，各老系统也正在逐步从EAI迁移至交易管理系统；交易管理系统较为稳定和高效的性能，使神行太保摆脱了原先效率较低的问题。背景介绍—扩充Dubbo、RabbitMQ以及交易监控交易管理平台作用明显，目前已在寿险、健康险的应用中广泛使用服务提供方：寿险、健康险FF和综意险、健康险理赔系统等42个系统的部分新建服务已通过神太交易管理平台进行管理；服务消费方：P17、个险GPS、团险GPS、移动CRM、移动保全、直达号等32个系统与模块；全司推广还需要进行升级，由于设计初衷是为了解决神太交易控制问题，并未将解决整体问题作为设计目标，因此在全司推广情况下需要进一步完善如下几方面：建立基于消息的异步通知模式建立从端到端的完整交易监控体系完善交易管理，增加直连模式目前内部交易缺乏授权管理，无统一的交易级别定义；目前大部分系统采用WebService的直连模式，需要对此模式进行支持。目前没有统一的交易监控机制，一个请求无法自动追溯交易过程的问题，交易对于系统集成的监控预警，以及问题排查带来较大问题。目前系统间仅有实时接口和批量接口两种模式。对于时效性要求准时模式，目前仅能采用实时接口，那么对于各系统的耦合性太紧，需要建立消息机制解决这类问题。总体通讯架构服务管理中心服务提供方服务注册服务消费方服务授权服务端包客户端包服务端包C核心系统客户端包基于缓冲池的交易模式Toplink消息中心C核心系统……发布订阅点对点监控预警日志收集实时分析预警服务注册消息发送服务日志采集实时服务调用服务查找消息通知 中国银联新系统工行、交行卡交换系统建行一体化收单上海轨道交通清分全国金卡总中心开通上海城市交通一卡通中心开通中国电子邮政示范工程开通SNET/VISA组织联接其他交换中心建设交易处理上海银行综合业务系统上海金卡交换中心与C核心系统通讯—Toplink行业应用大规模拓展SOA以及行业规范格式兼容新一代交换系统全面收单功能符合EMV标准欺诈与监控代授权商户管理TOPLINK优化形成TOPLINK+行业内交换IC卡支付技术提炼 TOPLINK产品 外卡联接自主开发2011……200320052007199319951996199819992001与C核心系统通讯—Toplink服务调用方服务提供方技术介绍—TopLink直连调用服务提供方服务管理中心服务消费方服务注册服务授权服务端包客户端包服务端包客户端包C核心系统基于缓冲池的交易模式C核心系统……功能：提供统一交易管理平台，服务自动注册自动发现；完整的交易模式：支持基于消息转发和系统直连；提供透明化的远程方法调用，就像调用本地方法一样调用远程方法；技术选型：服务框架：Dubbo；服务跟踪：Brave(依据Google Dapper，Twitter的Zipkin的Java实现)异步消息调用服务管理中心服务提供方服务消费方服务注册服务授权服务端包客户端包服务端包C核心系统客户端包基于缓冲池的交易模式消息中心C核心系统……发布订阅点对点作用：应用于系统间异步通知，降低系统间解耦度，提供可靠的异步消息通知机制，例如：核心系统的保单状态变化。功能：提供可靠的消息推送；提供点对点、发布订阅的消息传送模式；技术选型：采用RabbitMQ实时日志分析单节点应用系统集群带埋点的应用系统写入本地日志文件实时收集日志读取kafka日志收集agent(Flume)实时抓取汇总的应用日志监控预警服务实时计算群(S