分布式解决方案
文章平均质量分 93
分布式解决方案相关
1.分布式事务
2.分布式日志收集
鹿指为码
努力!奋斗!
展开
-
Eureka集群部署,服务器释压之多台服务器分开部署服务,服务之间相互调用,分布式注册中心Eureka的辉煌再现
背景 Eureka,SpringCloud第一代产品,虽说目前Nacos已经席卷而来,基本要掀翻Eureka,但是难免老系统用到的注册中心是Eureka,那么正好,我在操作这个老系统的时候,就遇到了一些坑,我想把多个服务通过两台服务器来完成部署,AB服务器各部署一半,释压的同时,腾出内存,当我以自认为无比清晰的思路去弄,以为一下子就能好时,发现事与愿违,足足花了我N小时,最后仍然只是小细节,踩了坑之后各位就看到了这篇文章,我能怎么办,我也很无奈。场景 还是一句老...原创 2021-07-21 18:06:23 · 1576 阅读 · 1 评论 -
为什么会需要消息队列(MQ)?
为什么会需要消息队列(MQ)?主要原因是由于在高并发环境下,由于来不及同步处理,请求往往会发生堵塞,比如说,大量的insert,update之类的请求同时到达MySQL,直接导致无数的行锁表锁,甚至最后请求会堆积过多,从而触发too many connections错误。通过使用消息队列,我们可以异步处理请求,从而缓解系统的压力。美国计算机科学家,LaTex的作者Leslie Lamp...转载 2019-03-07 23:23:11 · 207 阅读 · 0 评论 -
浅谈分布式任务调度平台
背景分布式场景下,我们会对每个独立出来的服务进行集群,来提升服务的可用性,但集群环境下就会出现当前服务模块的定时任务重复进行的情况。那么解决方案实际上有多种:1.将定时任务提取出来,存放在后台管理系统2.将定时任务单独部署成一个服务3.将不同的服务部署不同的定时任务服务,用任务调度中心将其进行整合管理,也就是本文所说的分布式任务调度平台原理如图:在分布式任务调度中心中(这里以XXL-JOB的架构图为例),分为两部分。1.任务调度中心:即任务中心管理系统,处理所有的任务分发,执行原创 2020-10-27 16:38:19 · 530 阅读 · 0 评论 -
Dubbo是什么?能做什么
1. Dubbo是什么?Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案。简单的说,dubbo就是个服务框架,如果没有分布式的需求,其实是不需要用的,只有在分布式的时候,才有dubbo这样的分布式服务框架的需求,并且本质上是个服务调用的东东,说白了就是个远程服务调用的分布式框架(告别Web Service模式中的WSdl,以服务者与消费者...转载 2019-03-07 23:36:53 · 175 阅读 · 0 评论 -
【Storm】理解与深入学习
作者:Jack47PS:如果喜欢我写的文章,欢迎关注我的微信公众账号程序员杰克,两边的文章会同步,也可以添加我的RSS订阅源。内容简介本文是Storm系列之一,介绍了Storm的起源,Storm作者的八卦,Storm的特点和Storm模型的基本原理,着重介绍了Storm中的基本概念(Spout, Bolt, Stream, Tuple等)和对应的编程接口,可以作为Storm的入门文档来...转载 2019-03-20 22:41:37 · 201 阅读 · 0 评论 -
【Storm】入门的Demo教程
Storm介绍Storm是Twitter开源的分布式实时大数据处理框架,最早开源于github,从0.9.1版本之后,归于Apache社区,被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Stor...转载 2019-03-20 22:44:30 · 226 阅读 · 0 评论 -
【Storm】介绍--最火的流式处理框架
伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦,相反,如果这个宝贝要等到第二天或者更久才可以被搜出来,估计这个大哥就要骂娘了。再举一个推荐的例子,如果用户昨天在淘宝上买了一双袜子,今天想买一副泳镜去游泳...转载 2019-03-20 22:38:25 · 214 阅读 · 0 评论 -
【Storm】理解与深入学习【二】
本文是Storm系列之一,主要介绍Storm的架构设计,推荐读者在阅读Storm介绍(一)的基础之上,阅读这一篇。本文只是作者的读书笔记,偏重于浅层次的架构介绍,如果想真正理解内部设计时候的权衡,还需要更多的去阅读Storm源码。理解Storm的架构,有助于帮助我们理解大型分布式系统设计中需要解决的问题,以及解决问题的思路,帮助我们更好的进行Storm性能调优化。架构先上一张Storm...转载 2019-03-20 22:43:05 · 129 阅读 · 0 评论 -
一篇文看懂Hadoop
我们很荣幸能够见证Hadoop十年从无到有,再到称王。感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天、今天和明天,憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇 2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(即Core ...转载 2019-03-20 22:29:50 · 195 阅读 · 0 评论 -
Hadoop与Spark比较
直接比较Hadoop和Spark有难度,因为它们处理的许多任务都一样,但是在一些方面又并不相互重叠。比如说,Spark没有文件管理功能,因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。Hadoop框架的主要模块包括如下:Hadoop Common Hadoop分布式文件系统(HDFS) Hadoop YARN Hadoop MapReduce虽然上述...转载 2019-03-20 22:35:32 · 232 阅读 · 0 评论 -
分布式日志收集原理
一、传统系统日志收集的问题在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常底下。通常,日志被分散在储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog...原创 2019-10-24 11:53:04 · 3151 阅读 · 0 评论