架构和分布式
文章平均质量分 83
蜜獾互联网
聚焦国内外前沿技术文献、行业典型应用案例、互联网安全管理。
开源项目:https://gitee.com/ratel-admin
展开
-
ELK日志分析系统部署文档
Kibana: 可以对 Elasticsearch 进行可视化,还可以在 Elastic Stack 中进行导航,这样便可以进行各种操作了,从跟踪查询负载,到理解请求如何流经您的整个应用,都能轻松完成。Logstash: 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。一般用在日志的搜集、分析、过滤,支持大量的数据获取方式。进行下载相应的产品版本,点击“Download”后选择需要的方式包进行下载,本文以linux 二进制方式进行部署。原创 2024-07-18 18:24:57 · 1291 阅读 · 0 评论 -
PolarDB-X、OceanBase、CockroachDB、TiDB二级索引写入性能测评
为什么要做这个测试二级索引是关系型数据库相较于NoSQL数据库的一个关键差异。二级索引必须是强一致的,因此索引的写入需要与主键的写入放在一个事务当中,事务的性能是二级索引性能的基础。目前市面上的分布式数据库中,从使用体验的角度看主流有几种形态:1.以TiDB、CockroachDB等为代表的纯透明的用法。从表现上来看,该种类型的数据库所有表都是分布式表,并且不需要指定分区键,其核心逻辑是使用分布式事务来维护全局索引,并使用全局索引完全替代单机数据库中的二级索引。原创 2023-12-20 23:15:41 · 1467 阅读 · 0 评论 -
什么是 IDaaS、IAM、EIAM 和 CIAM?它对企业的区别是什么?
先说什么是 IAM、EIAM 和 CIAMIAM:Identity and Access Managetment,身份和访问管理,或者简称身份管理。其实回顾过去二十年,当我们讨论 IAM 时,其实大多数人想到的都是针对企业内部员工、合作伙伴、临时人员等提供统一身份认证和权限管理能力的内部产品(Enterprise Identity & Access Management 或 EIAM)。然而,这是缺乏想象力的,不能因为 EIAM 传统而简单,就只谈论、只研发 EIAM。随着软件的边界拓展原创 2022-04-25 13:34:04 · 2912 阅读 · 0 评论 -
阿里腾讯互联网架构技术概括
转载 2020-01-08 14:28:32 · 436 阅读 · 0 评论 -
分布式系统的架构思路
一、前言在计算机领域,当单机性能达到瓶颈时,有两种方式可以解决性能问题,一是堆硬件,进一步提升配置,二是分布式,水平扩展。当然,两者都是一样的烧钱。今天聊聊我所理解的分布式系统的架构思路。二、分布式系统的两种方式平时接触到的分布式系统有很多种,比如分布式文件系统,分布式数据库,分布式WebService,分布式计算等等,面向的情景不同,但分布式的思路是否是一样的呢?1.简单的例子转载 2018-01-29 22:55:25 · 359 阅读 · 0 评论 -
缓存架构____缓存穿透、缓存并发、缓存失效
我们在用缓存的时候,不管是Redis或者Memcached,基本上会通用遇到以下三个问题:缓存穿透缓存并发缓存失效一、缓存穿透注:上面三个图会有什么问题呢?我们在项目中使用缓存通常都是先检查缓存中是否存在,如果存在直接返回缓存内容,如果不存在就直接查询数据库然后再缓存查询结果返回。这个时候如果我们查询的某一个数据在缓存中一直不存在,就会造成每一次请求都查询DB,这样转载 2018-01-02 16:37:47 · 863 阅读 · 0 评论 -
负载均衡____软硬件负载均衡的优缺点
对于数据流量过大的网络中,往往单一设备无法承担,需要多台设备进行数据分流,而负载均衡器就是用来将数据分流到多台设备的一个转发器。目前有许多不同的负载均衡技术用以满足不同的应用需求,如软/硬件负载均衡、本地/全局负载均衡、更高网络层负载均衡,以及链路聚合技术。我们使用的是软负载均衡器Nginx,而农行用的是F5硬负载均衡器,这里就简单介绍下这两种技术:a.软件负载均衡解决方案翻译 2017-12-18 17:46:06 · 2446 阅读 · 0 评论 -
架构分析____电商平台大致架构
翻译 2017-11-14 14:30:23 · 957 阅读 · 0 评论 -
架构分布式____Redis集群架构各种方案分析
//1.主从复制架构图解 摘自网上一位博友的图片//2.客户端分片//3.twemproxy架构//4.Redis 3.0 P2P模式 的集群//更多资料最全的Redis集群方案介绍http://mt.sohu.com/20160601/n452401108.shtmlhttp://blog.csdn.net/u0112048原创 2017-03-20 16:44:16 · 343 阅读 · 0 评论 -
正向代理和反向代理的区别
一.正向代理帮助内网访问外网用的#从内到外.客户端A 访问不到服务端F 需要做一个代理服务器D 来访问F应用场景 1.一个公司局域网的人 都有公司内网 192.178.xx.xx 和192.188.xxx.xxx 不同部门或不同ip段 想要访问外网如百度 就需链接一个可以访问外网的机器做代理去访问百度获取数据返回信息.二.反向代理当访问百度的时候 客户访问www.baidu.com nginx会...原创 2018-02-13 22:27:38 · 375 阅读 · 0 评论 -
linux下Nginx+Tomcat配置负载均衡
1.安装tomcat可只本地安装一个tomcat 另一个用远程的 配置 好默认直接访问单节点:8080 是可以的 2.安装nginx 上篇已讲 测试nginx 安装成功 http://localhost 出现nginx主页面即可 3.配置nginx负载均衡 #user nobody;worker_processes 1;#error_log logs/error....原创 2018-03-16 10:59:34 · 217 阅读 · 0 评论 -
Nginx参数配置详解
user nobody;#启动进程,通常设置成和cpu的数量相等worker_processes 1; #全局错误日志及PID文件#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info; #pid logs/nginx.pid; ...转载 2018-03-16 11:01:36 · 229 阅读 · 0 评论 -
负载均衡Nginx和LVS的选型
负载均衡方案 软件级 负载均衡 nginx lvs 开源硬件级负载均衡F5 很少见 没有经验nginx和lvs的选型PS-1LVS的负载能力强,因为其工作方式逻辑非常简单,仅进行请求分发,而且工作在网络的第4层,没有流量,所以其效率不需要有过多的忧虑。LVS基本能支持所有应用,因为工作在第4层,所以LVS可以对几乎所有应用进行负载均衡,包括Web、数据库等。注意:LVS并不能完全判别节点故...转载 2018-03-16 11:29:21 · 372 阅读 · 0 评论 -
双机热备高可用方案heartbeat与keepalived
高可用方案+heartbeat与keepalived1.nginx-(tomcat1,tomcat2)当nginx挂掉之后 一切都无法进行方案 热备 nginx_master nginx_slave(backup)+(heartbeat与orkeepalived)2.heartbeat与keepalived选型Keepalived使用的vrrp协议方式,虚拟路由冗余协议 (Virtual Rout...转载 2018-03-16 11:34:21 · 1503 阅读 · 0 评论 -
VMware三种网络连接模式讲解
一、Bridged(桥接模式)什么是桥接模式?桥接模式就是将主机网卡与虚拟机虚拟的网卡利用虚拟网桥进行通信。在桥接的作用下,类似于把物理主机虚拟为一个交换机,所有桥接设置的虚拟机连接到这个交换机的一个接口上,物理主机也同样插在这个交换机当中,所以所有桥接下的网卡与网卡都是交换模式的,相互可以访问而不干扰。在桥接模式下,虚拟机ip地址需要与主机在同一个网段,如果需要联网,则网关与DNS需要与主机...原创 2018-11-20 10:59:53 · 490 阅读 · 0 评论 -
RBAC教程()简单的RBAC权限管理框架
一.RBAC简介基于角色的访问控制RBAC的权限管理,基于角色的访问控制(Role-Based Access Control),在RBAC中,权限与角色相关联,用户通过成为适当角色的成员而得到这些角色的权限。最后的结果就是不同的用户登录系统会看到不同的功能,也就是菜单。二.简单结构图...原创 2019-02-28 22:25:21 · 855 阅读 · 0 评论 -
架构分布式____Redis集群架构(sentinel哨兵模式集群方案)
转自:http://blog.csdn.net/u014756827/article/details/52117432Redis-sentinel哨兵模式集群方案配置2016-08-04 11:11 437人阅读 评论(0)收藏举报本文章已收录于:分类: 【redis】(38) 作者同类文章X转载 2017-03-20 16:33:53 · 2408 阅读 · 0 评论 -
架构分布式____javaee高可用,负载均衡架构图
原创 2017-03-20 13:31:59 · 691 阅读 · 0 评论 -
架构分布式____百万级访问架构前期
百万级访问网站前期的技术准备标签: 服务器性能优化2015-08-07 18:24 896人阅读 评论(0)收藏举报本文章已收录于:分类: 云计算(61) 作者同类文章X开了自己域名的博客,第一篇就得来个重磅一点的才对得起这4美金的域名。作为一个技术从业者十年,逛了十年发现有转载 2017-03-17 15:26:42 · 1410 阅读 · 0 评论 -
架构分布式____HA和KeepAlive实现高可用负载均衡
haproxy+keepalived实现高可用负载均衡标签: 负载均衡haproxykeepalivedlvs2015-06-12 16:56 461人阅读 评论(0)收藏举报本文章已收录于:分类: 云计算(61) 作者同类文章X目录(?)[-]keepalived理转载 2017-03-17 15:28:18 · 6342 阅读 · 0 评论 -
Memcached 及 Redis 架构分析和比较
Memcached 及 Redis 架构分析和比较标签: memcachedredis2015-08-16 16:47 507人阅读 评论(0)收藏举报本文章已收录于:分类: 云计算(61) 作者同类文章X作者:刘旭晖 Raymond 转载请注明出处Email:c转载 2017-03-17 15:29:45 · 610 阅读 · 0 评论 -
架构和分布式____安装和使用memcached
转自:安装和使用memcached安装和使用memcached标签: memcached 2016-01-06 19:27 292人阅读 评论(0)收藏举报本文章已收录于:分类: 云计算(61) 作者同类文章X如何将 memcached 融入到您的环境中?在开始安装和转载 2017-03-17 15:35:29 · 397 阅读 · 1 评论 -
架构分布式____负载均衡4层和7层理解
四层和七层负载均衡的区别2016-07-15 23:41 42人阅读 评论(0)收藏举报本文章已收录于:分类: 负载均衡原理(2) 作者同类文章X(一) 简单理解四层和七层负载均衡: ① 所谓四层就是基于IP+端口的负载均衡;七层就是基于URL等应用层信息的负载均衡;转载 2017-03-17 15:47:46 · 3342 阅读 · 0 评论 -
Redis大鹏博客转载____(一)Redis简介
Redis——简介2015-07-31 16:38 420人阅读 评论(4)收藏举报本文章已收录于:分类: 【Redis】(5) 作者同类文章X版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[-]一 NoSql简介二 Redis介绍三转载 2017-03-17 16:01:32 · 305 阅读 · 0 评论 -
Redis大鹏博客转载____(一)Redis几种数据结构
Redis——五种数据类型2015-07-31 16:54 342人阅读 评论(4)收藏举报本文章已收录于:分类: 【Redis】(5) 作者同类文章X版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[-]一 strings二 lists栈队转载 2017-03-17 16:02:52 · 342 阅读 · 0 评论 -
Redis大鹏博客转载____Redis主从复制
Redis——安全设置&主从复制2015-07-31 17:09 450人阅读 评论(4)收藏举报本文章已收录于:Redis知识库 分类: 【Redis】(5) 作者同类文章X版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[-]一 安全设转载 2017-03-17 16:05:26 · 277 阅读 · 0 评论 -
Dubbo配置问题____spring中dubbo标签报错问题和解决方案
//1.当在springxml中引用dubbo标签时会报错windows-->preferrence-->xml->xmlcatalog-->add->catalog entry -->file system,选择模版文件后,修改key值为“http://code.alibabatech.com/schema/dubbo/dubbo.xsd”原创 2017-02-25 14:32:52 · 1335 阅读 · 0 评论 -
dubbo分布式项目开发____Zookeeper搭建步骤和配置思路
//搭建zookeeper 1.可以放到在linux下 可以在windows下 解压到指定的目录如个人:F:\zookeeper2.复制下conf下 复制下zoo_simple.cfg 文件把复制的修改成zoo.cfg 内容如下 一定以不要出现中文 会报错的3.修改完成后进入windows dos命令回车一下内容说明注册中心配置正常原创 2017-02-25 14:44:03 · 633 阅读 · 0 评论 -
dubbo分布式项目开发____dubbo服务接口开发
//1.创建服务提供者工程名 cnse-provider-user //2.导入jar包和创建工程包名//配置spring的xml文件<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p=原创 2017-02-25 15:00:10 · 2099 阅读 · 0 评论 -
dubbo分布式项目开发____dubbo服务调用开发
//创建工程名 cnse-customer-user导入jar包 //工程结构//spring 文件配置<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.原创 2017-02-25 15:20:31 · 702 阅读 · 0 评论 -
dubbo分布式项目开发____dubbo控制台管理
//1.将dubbo-admin放到tomcat下自行解压 修改dubbo.properties文件结构如下为了避免冲突 如用到多个tomcat时 修改端口号即可 8080 其他8081...2..3..4等//从命名下war包的名称不带版本号放到tomcat下解压出来的就不带版本号了//启动tomcat访问这个项目 我个人用的是8081 单独的一个tomca原创 2017-02-25 15:32:57 · 352 阅读 · 0 评论 -
dubbo分布式项目开发____配置经验和心得
//1.zookeeper配置文件中不要出现中文会报错 //2.分布式开发对象一定要序列化//摘抄如下在面向对象程序语言中做分布式计算的时候,经常需要将对象在不同的主机之间传输,我这次在实现分布式计算的时候,需要将一个计算对象从中央服务器Server分发给所有的客户端client。通过网络TCP,建立Socket,传输一个对象,就需要将对象转换成一段字节流,也就叫做原创 2017-02-25 15:46:20 · 1467 阅读 · 0 评论 -
生产架构_____高并发,大数据量,线程安全 等整理
JavaEE安全性,高并发,大数据量,高负载,线程安全摘要1.集成项目和电商平台的差异: (1)传统的集成项目,用户量有限,负载有限,数据量固定对于高并发,大数据量,高负载,要求并不是很高 (2)电商平台,用户多造成高并发,高负载,和线程安全问题2.架构的选型: (1)架构选型要素 轻量级架构性能稳定,低侵入,低耦合,扩展性强,前期线程安全,漏洞较少 (2)mvc层框架sprin原创 2017-02-14 17:04:28 · 801 阅读 · 0 评论