分布式中三个基本（存储，集群和RPC）

最新推荐文章于 2024-10-08 09:30:10 发布
最新推荐文章于 2024-10-08 09:30:10 发布
阅读量660 收藏 1
点赞数
分类专栏： java 文章标签： java 分布式 集群 RPC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zh_android/article/details/101007279
版权

分布式中三个基本（存储，集群和RPC）

分布式存储：包括内存和磁盘两种介质

  1. 分布式文件系统
  2. NOSQL(mongodb)
  3. 缓存（redis，memecache）

集群 分类：包括主从和多服务

  1. 高可用集群
  2. 负载均衡集群
  3. 科学计算集群

RPC底层通讯常用的是NIO,如：netty

基于RPC技术：

  1. WebService
  2. RMI
  3. Hession

RPC机制部分：

  1. Java原生序列化
  2. Socket通信
  3. 动态代理
  4. 反射机制

RPC路由策略：

  1. F5硬件负载均衡器
  2. SLB软件负载均衡

 


 

Frank浩
关注
专栏目录
分布式系统集群的搭建 -- 存储篇
02-25 824
概述 在网络层的背后，每一个业务都需要数据的支撑，数据库的优化在整个系统中就显得至关重要了 虽然NoSQL在并发性能上要优于传统的DBA，但由于MySQL在扩展性等方面的优势，MySQL依然作为企业级数据存储的首选 MySQL数据库内部缓存使用 建立适当索引 对于MySQL优化，最简单的做法就是建立索引，在表数据量较大时可以起到快速检索数据的...
分布式系统与RPC概述
烟雨gps
04-22 1348
分布式系统与RPC概述 目录 分布式系统与RPC概述 1、分布式系统 1.1 分布式系统概念 1.2 分布式系统的特点 1.3 分布式系统的优缺点 1.4系统的发展演变过程 2、RPC概述 2.1 什么叫RPC 2.2 有了Http接口，为什么还需要RPC呢 2.3 Http与RPC的对比 1、分布式系统 1.1 分布式系统概念 《分布式系统原理与范型》定义： “分...
分布式RPC调用和分布式文件存储_FastDFS
LiLi的博客
11-10 2280
FastDFS 一、 简介 技术论坛： http://bbs.chinaunix.net/forum-240-1.html 资源地址： https://sourceforge.net/projects/fastdfs/ 源码资源： https://github.com/happyfish100 FastDFS 是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 特别适合以文件为载体的在线服务，如相册网站、视频
第38讲：Ceph分布式存储集群部署
最新发布
江晓龙的博客
10-08 1398
初始化Monitor组件需要先安装Monitor组件包，然后利用ceph-deploy工具根据生成的集群配置文件，初始化各个节点中的Monitor组件，形成集群模式，初始化完Monitor组件会在/etc/ceph目录中成一些配置文件和一些key文件，并启动Monitor组件。ceph-deploy：一个快速部署集群的工具，ceph-deploy不再维护，Ceph采用的是Nautilus版本，如果操作系统是CentOS8那么将不支持ceph-deploy方式的搭建。
分布式RPC调用和分布式文件存储_Dubbo 实战
LiLi的博客
11-09 2742
Dubbo 实战 主要内容 Dubbo 简介 Dubbo 架构详解 Dubbo 支持的协议 Dubbo 支持的注册中心 Dubbo 应用 Spring Boot 整合 Dubbo Dubbo 监控与管理 Dubbo 中服务的负载均衡 Dubbo 项目打包方式 Dubbo 实战案例 一、 Dubbo 简介 1 Dubbo 是什么 Dubbo 官网地址：http://dubbo.apache.org/zh-cn/ Dubbo 最早是 Alibaba 开源的分布式服务框架，它最大的特点是按照分层的方式来架构，
深入理解 RPC 之集群篇
架构师小秘圈
03-04 586
上一篇文章分析了服务的注册与发现，这一篇文章着重分析下 RPC 框架都会用到的集群的相关知识。集群(Cluster)本身并不具备太多知识点，在分布式系统中，集群一般涵盖了负载均衡（Load...
分布式RPC调用和分布式文件存储——Zookeeper
LiLi的博客
11-08 563
Zookeeper 实战 主要内容 Zookeeper 简介 Zookeeper 存储结构 监听通知 安装 Zookeeper Zookeeper 常用命令 使用 Java API 操作 Zookeeper Zookeeper 实战 一、 Zookeeper 简介 1 什么是 Zookeeper Zookeeper 官网：http://zookeeper.apache.org/ Zookeeper 是 Apache 的一个分布式服务框架，是 Apache Hadoop 的一个子项目。官方 文档上这么解释 Z
分布式集群chat
Tzecto
05-21 363
文章目录代理节点ProxyServiceproxyServerproxyService业务节点userServiceGroupServiceFriendServiceOfflineService日志LogServer 代理节点 ProxyService ProxyService 作为整个服务单元的入口，整个服务单元对外暴露的也是它的 Host 信息，对于客户端的请求信息，它会首先去判断这个信息是哪个业务，如果是以下业务节点，它就会去Zookeeper注册中心，找到提供这个服务的服务节点，并把这个请求信息分
微服务？集群？分布式？CAP-BASE定理？RPC？
淦淦淦！
12-09 886
文章目录一、微服务1.单体应用（ALL IN ONE）2.单体应用的缺点3.催生出微服务架构风格4.微服务应用（大型分布式应用）二、集群三、分布式1.分布式与微服务的关系2.分布式与集群的关系3.大型分布式应用（微服务应用）构建四、分布式系统CAP问题1.什么是CAP2.C和A之间的抉择2.1 CP架构2.2 AP架构2.3 CA架构3.与NoSQL的关系4.与BASH的关系五、RPC1.REST...
【分布式架构设计&微服务深入剖析01】之分布式理论、架构设计（自定义RPC）
yuyangzhi10的博客
12-06 2627
1、分布式理论 1.1 分布式架构系统回顾 1.1.1 分布式系统概念 分布式系统 分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统 通俗的理解，所谓分布式系统，就是一个业务拆分成多个子业务，分布在不同的服务器节点，共同构成的系统称为分布式系统 同一个分布式系统中的服务器节点在空间部署上是可以随意分布的 这些服务器可能放在不同的机柜中，也可能在不同的机房中，甚至分布在不同的城市 分布式与集群的区别 集群：多个人在一起作同样的事 分布式 ：多个人在一起
一文看懂分布式存储架构
热门推荐
weixin_70730532的博客
07-29 1万+
目录一、集中存储结构二、分布式存储1 、分布式存储的兴起2 、分布式存储的重要性3 、分布式存储的种类和比较三、分布式理论浅析1 、一致性和可用性2 、数据分布3 、复制4 、分布式协议5、跨机房部署四、分布式文件系统1、 Google 文件系统（ GFS ）2、 Taobao 文件系统（ TFS ）3、 Fackbook Haystack 文件系统4、 CDN 内容分发网络五、分布式键值系统1、 Amazon Dynamo2、 Taobao Tiar3、 ETCD4 、产品选型比较（ Etcd ， Zoo
集群 分布式存储----Ceph
weixin_43400640的博客
10-13 485
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过看i算计网络与节点相连。 分布式文件系统的设计基于客户机/服务器模式 常用分布式文件系统 Lustre ， Hadoop ， FsatDFS , Ceph , GlusterFS Ceph组件 OSDs：存储设备 Monitors：集群监控组件 MDSs：存放文件系统的...
分布式集群下的RPC限流方案
走在前往架构师的路上
01-03 1869
文章目录前言 前言 如今在大数据时代，面对如今规模数据体量快速增长的一个阶段，HDFS单集群模式已经无法支撑更加平稳高效的数据服务能力。多集群联合模式逐渐成为一种新的架构尝试，笔者所在公司亦是如此。我们内部目前采用了社区的RBF（Router-based Federation ）方案来做统一的数据服务。最近我们在尝试解决一个棘手的问题：多用户的RPC隔离问题。这个问题其实在原始HDFS单集群模式本身也是存在的，但是在多集群模式下这个问题只会变得更为严重。多集群模式下，更多的用户数据被写入到集群，而这也意味
Ceph分布式存储集群原理及其部署
Code for need ,Code for fun
12-04 2356
一、为什么要用Ceph ⾼高扩展性 ⾼高性能 ⽆无单点的分布式⽂文件存储系统 可⽤用于对象存储，块设备存储和⽂文件系统存储 读写速度快利利于共享 ceph FS 可以作为Hadoop后端数据存储池，可代替HDFS的存储方案。 Ceph与KVM虚拟化结合，ceph块存储RBD可作为KVM虚拟化的后端存储。 ceph块存储RBD可作为openstack的后端存储。 Ceph的RGW与OwnClou...
分布式架构核心RPC原理
区块链之美
04-08 478
https://blog.csdn.net/dongnaosenlu/article/details/76998419在应用的迭代演进过程中，随着系统访问量提高，业务复杂度提高，代码复杂度提高，应用逐渐从单体式架构向面向服务的分布式架构转变。RPC（Remote Procedure Call Protocol远程过程调用）是分布式架构的核心，按响应方式分如下两种：同步调用：客户端调用服务方方法，等...
部署 Hadoop 高性能集群
11-06 497
Hadoop 概述 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 分布式文件系统为海量的数据提供了存储，则 MapReduce 为海量的数据提供了计算。 网方网站：http://hadoop.apache.org/ Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。 官方网站下载
使用Springboot + Dubbo + Zookeeper + Redis实现远程RPC的数据存储和服务层负载均衡（一）
wangdw93的博客
11-28 196
最近在学习java的一些框架技术，也参考了一些博客文章，在此做个自己写的demo记录 第一步：创建并生成自定义接口jar包 新建maven工程 创建简单的实体类和接口： 此处我写了2个接口，用于Redis的存，取数据： 使用mvn clean install 打包成jar包，也可以用idea右侧maven直接操作。 pom.xml文件如下： <...
惠普架构师解密从分布式到微服务，深入理解RPC、内存、存储、检索等问题
weixin_57907028的博客
08-19 163
微服务”架构在这几年被广泛传播，变得非常火热，以至于关于微服务架构相关的开源框架和工具都变得越来越活跃，比如: Netlix OSS、Dubbo、Apache Thrift等。Spring Cloud也因为Spring社区在企业应用领域的广泛知名度和强大影响力，受到了广大架构师与开发者的高度关注。分布式架构与微服务平台是当今IT界的关键技术，也是资深软件工程师和系统架构师必须掌握的核心技术。本书以从传统分布式架构迁移到基于容器技术的微服务架构为主线，全面、透彻地介绍了与分布式架构及微服务相关的知识和技术。
集群分布式存储-MFS
oschina_41926682的博客
07-17 680
概念：具备冗余功能的分布式存储，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 组件：管理服务器（master）、元数据备份服务器（matelogger）、数据存储服务器组（chunkserver）、客户机服务器组（client） 环境： centos7.6 关闭防火墙和selinux 优缺： 优点：高可靠性、高可扩展性、高数据一致性、高容错性 缺点：master单点，岁吧数据信息同步到备份服务器，但恢复依然需要很长时间；master服务器对主机内存要求相对较高；mas
Hadoop分布式系统：从概述到集群搭建
狭义的Hadoop主要包括三个核心项目：Common、HDFS（Hadoop Distributed File System）和MapReduce。Common提供了通用工具，如配置管理、RPC机制和文件系统抽象。HDFS是一个分布式文件系统，能处理大规模数据，是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Frank浩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值