缓存
架构师成长营
这个作者很懒,什么都没留下…
展开
-
springboot+shiro+redis项目整合
介绍: Apache Shiro是一个强大且易用的Java安全框架,执行身份验证、授权、密码学和会话管理。使用Shiro的易于理解的API,您可以快速、轻松地获得任何应用程序,从最小的移动应用程序到最大的网络和企业应用程序。(摘自百度百科)本文使用springboot+mybatisplus+shiro实现数据库动态的管理用户、角色、权限管理,在本文的最后我会提供源码的下载地址,想看到效...转载 2019-10-30 09:53:29 · 360 阅读 · 0 评论 -
美团在Redis上踩过的一些坑-4
一、背景: 选择合适的使用场景 很多时候Redis被误解并乱用了,造成的Redis印象:耗内存、价格成本很高: 1. 为了“赶时髦”或者对于Mysql的“误解”在一个并发量很低的系统使用Redis,将原来放在Mysql数据全部放在Redis中。 ----(Redis比较适用于高并发系统,如果是一些复杂Mis系统,用Redis反而麻烦,因为单从功能讲Mysql要更为强大,...转载 2019-02-19 21:54:17 · 205 阅读 · 0 评论 -
美团在Redis上踩过的一些坑-5
由于演讲时间有限,有关Redis-Cluster,演讲者没做太多介绍,简单的介绍了一些Redis-Cluster概念作用和遇到的两个问题,我们在Redis-Cluster也有很多运维经验,将来的文章会介绍。 但是讲演者反复强调,不要听信网上对于Redis-Cluster的毁谤(实践出真知),对于这一点我很赞同,我们从Redis-Cluster beta版 RC1~4 到现在的3.0-rel...转载 2019-02-19 22:46:54 · 397 阅读 · 0 评论 -
微博 CacheService 架构浅析
微博作为国内最大的社交媒体网站之一,每天承载着亿万用户的服务请求,这些请求的背后,需要消耗着巨大的计算、内存、网络、I/O 等资源。而且因为微博的产品特性,节假日、热门事件等可能带来突发数倍甚至十几倍的访问峰值,这些都对于支撑微博的底层基础架构提出了比较严苛的要求,需要满足:每秒数十万的用户请求 数据更新的实时性 服务请求的低响应时间 99.99% 以上的服务可用性为了满足业务的发展需...转载 2019-03-03 12:03:27 · 374 阅读 · 0 评论 -
Redis技术贴一览表
豌豆夹Redis解决方案Codis源码剖析:DashboardAliRedis单机180w QPS, 8台服务器构建1000w QPS Cache集群Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑们 Redis几个认识误区Redis cluster-spec-Redis中文资料站Redis cluster-tutorial-Redis中文资料站Redis源代...转载 2019-03-06 19:09:32 · 140 阅读 · 0 评论 -
缓存当道:何时使用Redis、何时使用Pivotal Cloud Cache?
缓存市场同样如此。普遍认为Redis是“易于使用”的。正因如此,它成了第三受欢迎的NoSQL引擎以及排名第一的内存中键值存储。另一方面,普遍认为Redis是简单缓存,缺乏横向可扩展性和自动故障转移。公平地说,一些Redis产品已经开始针对企业场景, 但与像Pivotal Cloud Cache (PCC)这样全功能的企业产品相比,差距仍然很明显。当然,如果您的企业中有数千个应用,您会频繁使...转载 2019-07-14 22:05:55 · 287 阅读 · 0 评论 -
“百变”Redis带你见识不同场景下的产品技术架构
“百变”Redis带你见识不同场景下的产品技术架构2018-09-06 22:50 来源:云栖社区原标题:“百变”Redis带你见识不同场景下的产品技术架构2018飞天技术汇24期-云数据库Redis产品发布会,由阿里云数据库技术组技术专家王欢、怀听、梁盼分别带来以“Redis全球多活产品”、“Redis混合存储产品”、“Redis多线程性能增强版”为题的演讲。本文对Redis进行...转载 2019-07-23 21:41:56 · 102 阅读 · 0 评论 -
Redis 数据结构与内存管理策略(上)
Redis 数据类型特点与使用场景 String、List、Hash、Set、Zset 案例:沪江团购系统大促 hot-top 接口 cache 设计 Redis 内存数据结构与编码 OBJECT encoding key、DEBUG OBJECT key 简单动态字符串(simple dynamic string) 链表(linked list) 字典(dict) ...转载 2019-07-17 21:07:22 · 116 阅读 · 0 评论 -
从单机到2000万QPS:知乎Redis平台发展与演进之路
作者简介:陈鹏,现知乎存储平台组 Redis 平台技术负责人,2014 年加入知乎技术平台组从事基础架构相关系统的开发与运维,从无到有建立了知乎 Redis 平台,承载了知乎高速增长的业务流量。背景知乎作为知名中文知识内容平台,每日处理的访问量巨大,如何更好的承载这样巨大的访问量,同时提供稳定低时延的服务保证,是知乎技术平台同学需要面对的一大挑战。知乎存储平台团队基于开源Redi...转载 2019-07-24 22:31:02 · 154 阅读 · 0 评论 -
阿里P8架构师谈:NoSQL和SQL的区别,NoSQL的种类和比较,以及使用场景
“为什么现在nosql在大数据场景如此火爆,nosql和传统的sql又有什么区别,市场上目前的nosql有哪些种类,主流的nosql是什么?”01—什么是NoSQL什么是NoSQLNoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称,它具有非关系型、分布式、不提供ACID的数据库设计模式等特征...转载 2019-07-22 21:38:40 · 590 阅读 · 0 评论 -
5个强大的Java分布式缓存框架推荐
5个强大的Java分布式缓存框架推荐在开发中大型Java软件项目时,很多Java架构师都会遇到数据库读写瓶颈,如果你在系统架构时并没有将缓存策略考虑进去,或者并没有选择更优的缓存策略,那么到时候重构起来将会是一个噩梦。在开发中大型Java软件项目时,很多Java架构师都会遇到数据库读写瓶颈,如果你在系统架构时并没有将缓存策略考虑进去,或者并没有选择更优的缓存策略,那么到时候重构起来...转载 2019-10-11 09:34:13 · 228 阅读 · 0 评论 -
基于 Hazelcast 的分布式数据处理引擎 Hazelcast Jet
Hazelcast Jet 是一个分布式计算平台,专为高性能流处理和快速批处理而构建。它在内存数据网格(IMDG)中嵌入Hazelcast,以提供轻量级的处理器包和可扩展的内存存储。特性: 低延迟和分布式的通用数据处理框架,具有高吞吐量 高并行和分布式的数据流和批处理 分布式 java.util.stream API 支持 Hazelcast 数据结构,如 IMap...转载 2019-10-11 13:03:11 · 1412 阅读 · 0 评论 -
Hazelcast 介绍与使用(整理)
要用到 Hazelcast 这个东西用作分布式缓存, 网上搜索了下发现这篇文章对我理解 Hazelcast 那种无主从之分, 避免了单点故障很有帮助, Hazelcast 的数据分布方式很有点像磁盘阵列 RAID 1, RAID0+1 的影子. 基本上在一个节点出现故障的情况下是不会影响数据访问的.下面这个系列讲的很详细:Hazelcast集群服务(1)——Hazelcast介绍 Haz...转载 2019-10-11 13:05:56 · 31912 阅读 · 0 评论 -
Life in a Redis Cluster: Meet and Gossip with your neighbors
Redis Cluster is going to change your view of Redis.Since release 3.0.0, Redis is able to operate in Cluster mode, providing automatic data sharding across multiple nodes with a high degree of fault...转载 2019-02-28 19:23:55 · 206 阅读 · 0 评论 -
Redis Cluster的FailOver失败案例分析
场景: 使用redis clusterRC1部署集群,6台机器,每台部署16个实例,每个master使用一个slave,node_timeout为默认值(15s)。kill掉其中一个master发现failover完成不了。通过cluster nodes观察,该节点一直处于pfail状态。问题出在失败判定上,一直处于PFail,说明完成不了PFail->Fail的转换。然而同样的...转载 2019-02-28 19:17:29 · 989 阅读 · 0 评论 -
Redis Cluster 架构优化
在《全面剖析Redis Cluster原理和应用》中,我们已经详细剖析了现阶段Redis Cluster的缺点:无中心化架构 Gossip消息的开销 不停机升级困难 无法根据统计区分冷热数据 客户端的挑战 Cluster协议支持 连接和路由表的维护开销 MultiOp和Pipeline支持有限 Redis实现问题 不能自动发现 不能自动Reshar...转载 2019-02-23 18:33:33 · 659 阅读 · 0 评论 -
大型web系统数据缓存设计
1. 前言在高访问量的web系统中,缓存几乎是离不开的;但是一个适当、高效的缓存方案设计却并不容易;所以接下来将讨论一下应用系统缓存的设计方面应该注意哪些东西,包括缓存的选型、常见缓存系统的特点和数据指标、缓存对象结构设计和失效策略以及缓存对象的压缩等等,以期让有需求的同学尤其是初学者能够快速、系统的了解相关知识。 2. 数据库的瓶颈2.1 数据量关系型数据库的数据量是比较小的...转载 2018-12-16 09:53:00 · 239 阅读 · 0 评论 -
阿里云数据库Redis读写分离,全维度技术解析
背景目前的阿里云redis不管主从版还是集群规格,slave作为备库不对外提供服务,只有在发生HA,slave提升为master后才承担读写。这种架构读写请求都在master上完成,一致性较高,但性能受到master数量的限制。经常有用户数据较少,但因为流量或者并发太高而不得不升级到更大的集群规格。 为满足读多写少的业务场景,最大化节约用户成本,阿里云redis推出了读写分离规格,为用...转载 2018-12-30 11:29:39 · 206 阅读 · 0 评论 -
页面缓存那些事
提到文件,操作系统必须解决两个重要的问题。首先是硬盘驱动器的存取速度缓慢得令人头疼(相对于内存而言),尤其是磁盘的寻道性能。第二个是要满足‘一次性加载文件内容到物理内存并在程序间共享’的需求。如果你使用进程浏览器翻看Windows进程,就会发现大约15MB的共享DLL被加载进了每一个进程。我目前的Windows系统就运行了100个进程,如果没有共享机制,那将消耗大约1.5GB的物理内存仅仅用于存放...转载 2019-01-06 18:47:56 · 487 阅读 · 7 评论 -
redis 数据类型详解 以及 redis适用场景场合
1. MySql+Memcached架构的问题 实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题: 1.MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间。 2.Memcach...转载 2019-01-23 23:18:30 · 187 阅读 · 0 评论 -
Redis的那些最常见面试问题
随笔:经过长达一周的奔波和面试,电话面试,回首今天终于成功的入职了,总共面试了大概10家公司,包括阿里,京东,IBM等等,京东技术过了,学历因为非统招就被pass了,阿里面了2次电话面试就没下文了,估计是我当时最后提问题的时候减分了吧,其他的也有一些offer,不是不想去,就是了无音讯了,眼看年关将近,也由不得我挑挑拣拣了,就直接进了我现在这家公司,主要是感觉公司人不错,薪水这方面也就没有计较...转载 2019-01-22 21:38:38 · 183 阅读 · 0 评论 -
redis缓存和mysql数据库同步
解决方案一、对强一致要求比较高的,应采用实时同步方案,即查询缓存查询不到再从DB查询,保存到缓存;更新缓存时,先更新数据库,再将缓存的设置过期(建议不要去更新缓存内容,直接设置缓存过期)。二、对于并发程度较高的,可采用异步队列的方式同步,可采用kafka等消息中间件处理消息生产和消费。三、使用阿里的同步工具canal,canal实现方式是模拟mysql slave和master的同步机...转载 2019-01-22 21:42:01 · 417 阅读 · 0 评论 -
redis性能调优总结
本文经过真实项目验证。属原创分享,不对安装、配置细节作过多描述,谷歌即可得到。主要针对一些关键的参数,比如应用错误原因,性能瓶颈等,作相关说明。1. 什么是redisRedis是一个nosql的高性能Key-Value内存数据库,支持网络,亦可本地持久化。3.0.0Beta版已支持集群。详细资料可见http://www.redis.cn/2. Redis关键参数Ø 客户端最大连...转载 2019-02-14 20:50:21 · 639 阅读 · 1 评论 -
美团在Redis上踩过的一些坑-1.客户端周期性出现connect timeout
1. 背景: 大部分互联网公司都会有Mysql或者Oracle的DBA,但是在Nosql方面一般不会设置专门的DBA。不过对于一些知名的互联网公司来说,Nosql的使用量是巨大的,所以通常让Mysql的DBA或者单独聘请工程师来维护一些Nosql数据库,比如: Redis, Hbase, Memcache(其实严格讲不是nosql), Mongodb, Cassandr...转载 2019-02-14 20:51:32 · 786 阅读 · 1 评论 -
美团在Redis上踩过的一些坑-2
一、背景1. AOF: Redis的AOF机制有点类似于Mysql binlog,是Redis的提供的一种持久化方式(另一种是RDB),它会将所有的写命令按照一定频率(no, always, every seconds)写入到日志文件中,当Redis停机重启后恢复数据库。 2. AOF重写: (1) 随着AOF文件越来越大,里面会有大部分是重复命令或...转载 2019-02-15 20:12:31 · 274 阅读 · 0 评论 -
美团在Redis上踩过的一些坑-3
一、现象: redis-cluster某个分片内存飙升,明显比其他分片高很多,而且持续增长。并且主从的内存使用量并不一致。 二、分析可能原因: 1. redis-cluster的bug (这个应该不存在) 2. 客户端的hash(key)有问题,造成分配不均。(redis使用的是crc16, 不会出现这么不均的情况) 3. 存在个别大的key-value: 例如一个...转载 2019-02-15 20:21:58 · 355 阅读 · 0 评论 -
Redis 常见的性能问题和解决方法
1.Master写内存快照,save命令调度rdbSave函数,会阻塞主线程的工作,当快照比较大时对性能影响是非常大的,会间断性暂停服务,所以Master最好不要写内存快照。 2.Master AOF持久化,如果不重写AOF文件,这个持久化方式对性能的影响是最小的,但是AOF文件会不断增大,AOF文件过大会影响Master重启的恢复速度。 3.Master调用BGREWRITEAO...转载 2019-01-30 19:27:03 · 355 阅读 · 0 评论 -
Redis 的性能幻想与残酷现实
2011 年,当初选择 Redis 作为主要的内存数据存储,主要吸引我的是它提供多样的基础数据结构可以很方便的实现业务需求。另一方面又比较担心它的性能是否足以支撑,毕竟当时 Redis 还属于比较新的开源产品。但 Redis 官网宣称其是提供多数据结构的高性能存储,我们对其还是抱有幻想的。幻想要了解 Redis 的性能,我们先看看官方的基准性能测试数据,心里有个底。测试前提...转载 2019-01-30 19:32:41 · 139 阅读 · 0 评论 -
Redis Cluster迁移遇到的各种运维坑及解决方案
引子这个7月注定不平凡,通过7月连续的Redis故障,细心如你,一定会对技术、公司、同事、职业有了更深刻的认识和反思,先回忆下吧……本文主要涉及到的故障包括:1.网卡故障2.这该死的连接数3.疑似 Cluster 脑裂?4.Bgsave传统的典型问题5.主库重启 Flush 掉从库好的,敬请欣赏。Redis Cluster 的迁移之路我们Redis 部署特点...转载 2019-02-23 18:24:27 · 2094 阅读 · 0 评论 -
redis配置详解
redis配置详解##redis配置详解# Redis configuration file example.## Note that in order to read the configuration file, Redis must be# started with the file path as first argument:## ./redis-server /...转载 2018-12-16 09:42:24 · 383 阅读 · 0 评论