2020年07月_mydriverc2

原创常用架构框架设计等术语

NoSql （memcache Redis）全文搜索：Sphinx、Elasticsearch、SolrHadoopKafkaRedis/MCSSD Cache

2020-07-04 10:20:47 265

在了解一致性哈希算法之前，最好先了解一下缓存中的一个应用场景，了解了这个应用场景之后，再来理解一致性哈希算法，就容易多了，也更能体现出一致性哈希算法的优点，那么，我们先来描述一下这个经典的分布式缓存的应用场景。场景描述假设，我们有三台缓存服务器，用于缓存图片，我们为这三台缓存服务器编号为0号、1号、2号，现在，有3万张图片需要缓存，我们希望这些图片被均匀的缓存到这3台服务器上，以便它们能够分摊缓存的压力。也就是说，我们希望每台服务器能够缓存1万张左右的图片，那么，我们应该怎样做呢？如果我们没有任何规

2020-07-25 14:23:06 167

转载 OpenStack_Swift源码分析——Ring基本原理及一致性Hash算法

1、Ring的基本概念Ring是swfit中最重要的组件，用于记录存储对象与物理位置之间的映射关系，当用户需要对Account、Container、Object操作时，就需要查询对应的Ring文件（Account、Container、Object都有自己对应的Ring），Ring 使用Region（最近几个版本中新加入的）、Zone、Device、Partition和Replica来维护这些信息，对于每一个对象，根据你在部署swift设置的Replica数量，集群中会存有Replica个对象。部署完成后，

2020-07-25 14:14:48 466

转载 HDFS、Ceph、GFS、GPFS、Swift、Lustre

HDFS/CEPH/GFS/GPFS/Swift这类分布式存储，按照存储的类型来区分，HDFS/GPFS/GFS属于文件存储，CEPH属于统一存储–即块/对象/文件统一体，Swift属于对象存储-目前属于OpenStack下面的一个子项目。1)HDFSHadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部

2020-07-25 14:03:36 1209

转载 HDFS 与 Swift 区别

Swift和Hadoop分布式文件系统（HDFS）都有着相似的目的：实现冗余、快速、联网的存储swift 扩展性好，跨集群，无单点无限的可扩展性无单点故障swift 的多租户架构swift 可以写入多次swift 是通用的解决方案，存储数量非常多的大小不一的文件， hdfs存储数量中等的大文件在Swift中，元数据呈分布式，跨集群复制。而在HDFS使用了中央系统来维护文件元数据（Namenode，名称节点），这对HDFS来说无异于单一故障点，因而扩展到规模非常大的环境显得更困难。...

2020-07-25 13:48:14 398

转载 OpenStack基础知识介绍（IaaS，PaaS，SaaS）

原文地址：http://cloud.51cto.com/art/201507/484616.htm了更好的理解，我们首先来说一下云计算的类型。根据所提供服务的类型，云计算有以下三种落地方式。为了更好的理解，我们首先来说一下云计算的类型。根据所提供服务的类型，云计算有以下三种落地方式：1、Iaas(基础架构即服务)，用户能从中申请到硬件或虚拟硬件，包括裸机或虚拟机，然后在上边安装操作系统或其他应用程序。2、PaaS(平台即服务)，用户能从中申请到一个安装了操作系统以及支撑应用程序运行所需.

2020-07-25 13:42:36 2387

转载 KVM和Xen虚拟化有什么区别？Xen和KVM优缺点对比

KVM和Xen是两大虚拟化技术，KVM和Xen又是免费开源的管理程序，新手站长网分享虚拟化技术KVM和Xen的区别优势对比：KVM和Xen的区别KVM：KVM是轻量级的虚拟化管理程序模块，该模块主要来自Linux内核；KVM的虚拟化需要硬件支持，如具有VT功能的Intel CPU和具有AMD-V功能的AMD CPU，KVM只能在具有虚拟化支持的CPU上运行。 Xen：Xen是Linux下的虚拟化解决方案，Xen的实现是基于支持Xen功能的kernel，在Xen控制下的kernel，称之为Domai

2020-07-25 10:46:09 13871

转载 Docker 和虚拟机的区别

Docker是基于容器的虚拟化技术，它提供了一种轻量级的打包和运行程序的方式，不需要为业务应用新启动一个操作系统。其原理是把应用程序和其运行环境一起打包到镜像中，增强了运行环境的一致性，大幅缩短业务应用部署上线的时间。另外由于Docker能够直接访问主机硬件，使得它的I/O操作比虚拟机要快得多。hypervisor虚拟化基于架构层，具体分为两类：　　1. 直接运行在物理硬件上，基于内核实现的虚拟机，比如KVM。打开kvm有1，2，3，4等按钮，分别是不同的客户端；　　2. 运行在一个操作系统内.

2020-07-25 10:44:24 1066

转载 libvirt简介

提到KVM的管理工具，首先不得不介绍的就是大名鼎鼎的libvirt，因为libvirt是目前使用最为广泛的对KVM虚拟机进行管理的工具和应用程序接口（API），而且一些常用的虚拟机管理工具（如virsh、virt-install、virt-manager等）和云计算框架平台（如OpenStack、OpenNebula、Eucalyptus等）都在底层使用libvirt的应用程序接口。libvirt是为了更方便地管理平台虚拟化技术而设计的开放源代码的应用程序接口、守护进程和管理工具，它不仅提供了对虚拟化客

2020-07-25 10:33:20 3999

转载 hypervisor

1、概念　　Hypervisor——一种运行在基础物理服务器和操作系统之间的中间软件层,可允许多个操作系统和应用共享硬件。也可叫做VMM（ virtual machine monitor ），即虚拟机监视器。Hypervisors是一种在虚拟环境中的“元”操作系统。他们可以访问服务器上包括磁盘和内存在内的所有物理设备。Hypervisors不但协调着这些硬件资源的访问，也同时在各个虚拟机之间施加防护。当服务器启动并执行Hypervisor时，它会加载所有虚拟机客户端的操作系统同时会分配给每.

2020-07-25 10:32:06 452

转载 openstack基本组件基础知识

https://blog.csdn.net/qq_33932782/article/details/107296426?fps=1&locationNum=2&spm=1018.2118.3001.4187Openstack:一.云计算+openstack概念：1.云计算是一种按使用量付费的模式，这种模式提供可用的，便捷的，按需的访问，通过互联网进入可配置的计算资源共享池（资源包括网络，计算，存储，应用软件，服务）；2.OpenStack：是一个开源的云计算管理平台项目.

2020-07-25 10:01:41 995

转载网络分裂（network partition）

一次网络分裂指的是，为了各自节点的优化，或者因为宕机，使得网络分离成独立子网的现象。例如，在这种情况下，各个子网需要具备分裂容忍（partition-tolerant）的能力，保证情况发生时，仍然能正常工作。CAP中的分区容错性：单台服务器，或多台服务器出问题（主要是网络问题）后，正常服务的服务器依然能正常提供服务，并且满足设计好的一致性和可用性重点在于：部分服务器因网络问题，业务依然能够继续运行Partition tolerance – if the network stops d..

2020-07-18 14:12:32 2125 1

转载实现mysql的读写分离(mysql-proxy)

https://blog.csdn.net/wzt888_/article/details/81660849mysql-proxy简介MySQL读写分离是指让master处理写操作，让slave处理读操作，非常适用于读操作量比较大的场景，可减轻master的压力。使用mysql-proxy实现mysql的读写分离，mysql-proxy实际上是作为后端mysql主从服务器的代理，它直接接受客户端的请求，对SQL语句进行分析，判断出是读操作还是写操作，然后分发至对应的mysql服务器上...

2020-07-04 14:31:56 258

转载 Java后台技术（TDDL）

https://www.cnblogs.com/chenchaochao034/p/11574820.html出现背景　　当代互联网项目的数据都是海量的，当数据达到一定水平时，无法通过单个数据库服务器来实现，然后就出现了垂直分区（分库），根据业务不同对数据进行拆散，存储到不同的数据库中。但当数据继续增加时，单个数据库任然会因为数据量过大而导致性能下降，这时就可以采用水平分区（分表），将一个业务表拆成多个子表，比如user_table0、user_table1、user_table2，用N张表来维护同

2020-07-04 14:08:36 617

转载 mysql-proxy简介

转载于：https://www.cnblogs.com/jwentest/p/8552075.html# 背景今天同事分享的主题就是mysql-proxy，于是下来自己了解下，不求精通，只求知道这个玩意# 简介mysql-proxy是mysql官方提供的mysql中间件服务，上游可接入若干个mysql-client，后端可连接若干个mysql-server。它使用mysql协议，任何使用mysql-client的上游无需修改任何代码，即可迁移至mysql-proxy上。my.

2020-07-04 14:06:44 466

转载 ShardingSphere x Seata，一致性更强的分布式数据库中间件

日前，分布式数据库中间件ShardingSphere将 Seata 分布式事务能力进行整合，旨在打造一致性更强的分布式数据库中间件。背景数据库领域，分布式事务的实现主要包含：两阶段的 XA 和 BASE 柔性事务。XA 事务底层，依赖于具体的数据库厂商对 XA 两阶段提交协议的支持。通常，XA 协议通过在 Prepare 和 Commit 阶段进行 2PL（2 阶段锁），保证了分布式事务的 ACID，适用于短事务及非云化环境（云化环境下一次 IO 操作大概需要20ms，两阶段锁会锁住资源长...

2020-07-04 13:54:15 1022

转载 HBase和HDFS的关系

https://blog.csdn.net/zhangvalue/article/details/102155571问题：关系数据库已经流行很多年，并且Hadoop已经有了HDFS和MapReduce,为什么需要HBase?1、首先了解一下 HDFS文件存储系统和HBASE分布式数据库HDFS是Hadoop分布式文件系统。HBase的数据通常存储在HDFS上。HDFS为HBase提供了高可靠性的底层存储支持。Hbase是Hadoop database即Hadoop数据库。它是一个适合于非结构

2020-07-04 11:18:35 1549

转载深入理解Hadoop HDFS【一篇就够】

又是一篇值得收藏温习的好文，更多好文请关注原文博主！！！原文=>https://blog.csdn.net/bingduanlbd/article/details/51914550#t24文本详细介绍了HDFS中的许多概念，对于理解Hadoop分布式文件系统很有帮助。1. 介绍在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在.

2020-07-04 11:05:34 661 1

转载 Redis和Memcache区别，优缺点对比

https://www.cnblogs.com/williamjie/p/11287167.html1、 Redis和Memcache都是将数据存放在内存中，都是内存数据库。不过memcache还可用于缓存其他东西，例如图片、视频等等。2、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。3、虚拟内存–Redis当物理内存用完时，可以将一些很久没用到的value 交换到磁盘4、过期策略–memcache在set时就指定，例如set key1 0...

2020-07-04 10:31:10 347

转载选redis还是memcache

什么时候倾向于选择redis？业务需求决定技术选型，当业务有这样一些特点的时候，选择redis会更加适合。复杂数据结构value是哈希，列表，集合，有序集合这类复杂的数据结构时，会选择redis，因为mc无法满足这些需求。最典型的场景，用户订单列表，用户消息，帖子评论列表等。持久化mc无法满足持久化的需求，只得选择redis。但是，这里要提醒的是，真的使用对了redis的持久化功能么？千万不要把redis当作数据库用：（1）redis的定期快照不能保证数据不丢失（2）red...

2020-07-04 10:28:00 118

MyDriverC