分布式系统方案与工具
文章平均质量分 89
分布式集群服务与工具和方案
lxlmycsdnfree
脑科学爱好者,物理爱好者,计算机从业者
展开
-
zookeeper 源码阅读(3)
接着zookeeper 源码阅读(2)这里详细看下工厂模式创建的zkServer,后面在介绍分析那三种选举算法public class QuorumPeer extends ZooKeeperThread implements QuorumStats.Provider{}中ServerCnxnFactory cnxnFactory; cnxnFactory来自构造方法传进来的:cn...原创 2018-08-03 17:00:03 · 453 阅读 · 0 评论 -
zookeeper 源码阅读(2)
接着zookeeper 源码阅读(1)Zookeeper服务器的启动,大致可以分为以下五个步骤 1. 配置文件解析。 2. 初始化数据管理器。 3. 初始化网络I/O管理器。 4. 数据恢复。 5. 对外服务。 2.1 单机版服务器启动 单机版服务器的启动其流程图如下 上图的过程可以分为预启动和初始化过程。 1. 预启动 1....原创 2018-08-01 21:04:10 · 810 阅读 · 0 评论 -
zookeeper 源码阅读(1)
对于源码阅读的几点建议和方式:1.尽量本地调试可以跑起来代码2.debug 日志梳理代码执行流程,这样起到事半功倍的作用3.干巴巴看代码毫无意义,难度极大 zk 是分别有c语言编写的和java 编写的,zk 提供了丰富的api,一般公司中间件团队,将zk api进行包装成jar包放到仓库供其他团队使用;同时封装jar的时候,为了使用方便,增加了各种与spring 无缝组装的方式...原创 2018-07-17 20:40:48 · 1568 阅读 · 0 评论 -
超融合基础架构
超融合基础架构(Hyper-Converged Infrastructure)是一种集成了虚拟计算资源和存储设备的信息基础架构。在这样的架构环境中,同一套单元设备中不但具备了计算、网络、存储和服务器虚拟化等资源和技术,而且多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(Scale—Out),形成统一的资源池。超融合基础架构是以硬件服务器为基础,最大限度实现数据中心容量扩展性和数据的可用性。超融合架构以虚拟机为核心,提升集群的运算效能和存储空间,具有简单、高效、高性能、易部署等优势。原创 2024-02-05 11:32:30 · 880 阅读 · 0 评论 -
pve多台物理机虚拟化 pve虚拟机优势
CT虚拟机: 基于CT模板使用LXC隔离技术实现的容器,VE 安装后默认配置的 apt 软件源和 CT (LXC) 容器模板源均是官方默认的,国内使用性能不佳,建议替换为 清华 Tuna 提供的国内镜像源,速度将有一个较大的提升,其中模板可以理解为容器镜像,默认的镜像有centos,debian等。PVE 安装后默认配置的 apt 软件源和 CT (LXC) 容器模板源均是官方默认的,国内使用性能不佳,建议替换为 清华 Tuna 提供的国内镜像源,速度将有一个较大的提升。原创 2024-01-09 12:33:12 · 5447 阅读 · 0 评论 -
微服务建设浅述
自从springboot诞生之后(好多年前的事情),就标志着微服务设计和架构思想就已经是服务集群建设的主流。但是微服务建设之后,就会面临一些列问题,服务之间调用如何更好的实现?服务的调用如何被监管(服务均被调用的方式实现,如何监管性能)?springcloud出现之后,面对微服务架构管理和监管机制被面向一线开发,开发者通过利用springboot各个组件有能力去进行服务治理和服务管理。dubbo的出现,更是将微服务的开发和治理更加便捷和轻量化,使得服务管理和治理有更加高效、简单和便捷。原创 2022-10-29 21:15:06 · 460 阅读 · 0 评论 -
AWS上的auto-scaling实现应用的自动扩展
可伸缩性是解决方案可以通过添加计算和存储资源的一种有能力的方式来处理增加的工作负载或事务的特性。如果您当前的解决方案可同时支持100万用户,那么具有高度可扩展性的软件将通过添加额外的资源而对数十亿用户有效。为了处理更多负载,有两种类型的缩放比例:垂直缩放比例和水平缩放比例自动缩放是云计算环境中的一项功能,当使用情况指标达到配置的阈值时,该功能会自动从实例群集中添加或删除虚拟机等计算资源。自动缩放或动态缩放功能可确保将新的计算资源无缝地添加到群集中,以满足需求峰值,并在需求下降时终止实例。原创 2022-08-24 20:18:59 · 1336 阅读 · 0 评论 -
AWS VPC 概述
那么下面我们对每个关键部件做下介绍。原创 2022-08-15 10:58:30 · 3223 阅读 · 1 评论 -
Amazon RDS多区域高可用测试
终端节点是AWS提供给应用访问RDS实例的域名,该节点是一个DNS CNAME,它一次指向TTL为5秒的不同可用区(Primary&Secondary)中可用的两个实例之一。再次打开实例详情,可以看到可用区跟辅助区域已经更改了,可用区变为辅助区域,辅助区域变为可用区,完成了切换【整个切换时间在40s左右,后面有更详细的证明】。通过查询变量我们知道,RDS默认是“双1”配置,缓冲区为内存的75%,隔离级别为RR,行格式为MIXED,事务日志2个128M。然后,我们将重新启动并使辅助区域实例成为主区域实例。..原创 2022-08-13 22:58:32 · 619 阅读 · 0 评论 -
redis 集群讲解
群集节点属性每个节点在集群中都有唯一的名称。节点名称是一个160位随机数的十六进制表示,是第一次启动节点(通常使用/ dev / urandom)时获得的。节点将其ID保存在节点配置文件中,并永久使用相同的ID,或者至少只要节点配置文件不被系统管理员删除,或者通过CLUSTER RESET命令请求硬复位。节点ID用于标识整个集群中的每个节点。给定节点有可能改变其IP地址,而不需原创 2018-01-04 21:55:52 · 457 阅读 · 0 评论 -
Linux上搭建伪集群 Hadoop3.1
首先使用的是jdk1.8,将jdk 添加到环境变量中,hadoop 路径添加到环境变量中。vim /etc/profile #设置Hadoop环境变量export HADOOP_HOME=/usr/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport JAVA_HOME=/opt/java1.8export ...原创 2018-08-12 15:45:03 · 633 阅读 · 0 评论 -
浅谈Nginx负载均衡与F5的区别
转载地址:http://www.ideadata.com.cn/wisdomAction/readWisdom.do?id=75前言笔者最近在负责某集团网站时,同时用到了Nginx与F5,如图所示,负载均衡器F5作为处理外界请求的第一道“墙”,将请求分发到web服务器后,web服务器上的Nginx再进行处理,静态内容直接访问本地门户,动态数据则通过反向代理指向内转载 2017-12-27 14:04:07 · 301 阅读 · 0 评论 -
hadoop2.0以后不需要借助cywin运行在Windows上
Hadoop 2.0及以后的版本可以直接在windows上跑, 不用cygwin了, 凡是讲cygwin的攻略都可以忽略. 去官网下载hadoop,其实都是tar.gz linux版本,所以我们单独下载window需要一些文件。关于环境变量: 我实验下来要加的唯一一个环境变量是系统变量里的Path, 往里加上Hadoop的bin目录的路径.关于winutils: 除了Hadoo...原创 2018-08-10 16:32:03 · 301 阅读 · 0 评论 -
zookeeper集群配置说明以及window单台机器集群搭建
zk tar.gz 目录:在src/main 下面的源码是zk 服务端和客户端的源码!!!不过在服务运行起来的时候,服务是调用图中根目录下的zookeeper.jar.在集群模式下,所有的zk进程可以使用相同的配置文件(是指各个zk进程部署在不同的机器上面),例如如下配置:tickTime=2000dataDir=/home/myname/zookeeperclientPor...原创 2018-07-30 21:53:54 · 1476 阅读 · 0 评论 -
Hadoop下载和源码阅读
访问官网:http://hadoop.apache.org/点击下载:hadoop-3.1.0.tar.gz 是320M,hadoop-3.1.0-src.tar.gz 是27M---------------------------------------------------------------------------------------------...原创 2018-07-30 15:27:10 · 5163 阅读 · 0 评论 -
Linux NFS服务器的安装与配置(最简单的文件共享集群)
一、NFS服务简介 NFS 是Network File System的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。 NFS 的基本原则是“容许不同的客户端及服务端转载 2017-12-27 14:18:17 · 379 阅读 · 0 评论 -
redis源码阅读(1)
redis 是c 编写的,首先看下redis 代码目录结构(对应版本3.25):开发相关的放在deps下面:主要代码放置在deps和src下面,utils 下面放置的是rb 脚本首先看下src 下面的c代码:文件 作用 adlist.c 、 adlist.h 双端链表数据结构的实现。 ae.c 、 ae.h 、 ae_epoll.c 、 ae_e...原创 2018-07-21 16:46:17 · 3567 阅读 · 0 评论 -
初步掌握HDFS的架构及原理
原文链接:http://www.cnblogs.com/codeOfLife/p/5375120.html目录 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 HDFS 如何读取文件 HDFS 如何写入文件 HDFS 副本存放策略 Hadoop2.x新特性 1、HD...转载 2018-07-25 16:43:08 · 701 阅读 · 0 评论 -
memcache、redis原理对比
一、问题: 数据库表数据量极大(千万条),要求让服务器更加快速地响应用户的需求。 二、解决方案: 1.通过高速服务器Cache缓存数据库数据 2.内存数据库 (这里仅从数据缓存方面考虑,当然,后期可以采用Hadoop+HBase+Hive等分布式存储分析平台)三、主流解Cache和数据库转载 2018-01-04 16:53:53 · 173 阅读 · 0 评论 -
java RPC 初步了解
首先要了解一个概念:wsdl 协议 web service description language使用wsdl 要定义一个接口,一个服务;目前常用的就是xml 描述,类似java中 jax-ws WSDL 元素 基于XML语法描述了与服务进行交互的基本元素:Type(消息类型):数据类型定义的容器,它使用某种类型系统(如 XSD)。Message(消息):通信数据的抽象类型化定义,它由一个或者...原创 2018-06-06 12:01:14 · 461 阅读 · 0 评论 -
分布式消息系统:Kafka
原文地址:http://blog.jobbole.com/75328/Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低延迟的不停流转。转载 2018-01-02 09:29:04 · 249 阅读 · 0 评论 -
Zookeeper工作原理
1、Zookeeper的角色 » 领导者(leader),负责进行投票的发起和决议,更新系统状态 » 学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票 » Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步lea转载 2018-01-15 16:12:55 · 164 阅读 · 0 评论 -
nginx搭建tomcat分布式集群
nginx搭建tomcat分布式集群1. nginx使用80端口,所有对服务器80端口的访问都被nginx拦截。例:127.0.0.1www.jthinking.com127.0.0.1admin.jthinking.com127.0.0.1resource.jthinking.com2. 在nginx的nginx.conf配置文件中增加配置。例:原创 2016-12-19 10:32:05 · 521 阅读 · 1 评论