亿级流量电商系统多级缓存架构
亿级流量电商系统多级缓存架构
Redis基础
数据类型String hash list set zset
java操作Redis
redis的RDB和AOF两种持久化机制
Redis Transcation
Redis高级
redis企业级数据备份
Lua脚本与redis抢红包实战案例...
文章
优惠券发放
2018-08-22
3372浏览量
详细讲解！Canal+Kafka实现MySQL与Redis数据同步！
思维导图
本文章已收录到个人博客网站(我爱B站)：me.lovebilibili.com
前言
在很多业务情况下，我们都会在系统中加入redis缓存做查询优化。
如果数据库数据发生更新，这时候就需要在业务代码中写一段同步更新redis的代码。
这种数据同步的代码跟业务代码糅合在一起会不太优雅，能...
文章
java技术爱好者
2020-08-19
2835浏览量
Kafka实战－数据持久化
1.概述
经过前面Kafka实战系列的学习，我们通过学习《Kafka实战－入门》了解Kafka的应用场景和基本原理，《Kafka实战－Kafka Cluster》一文给大家分享了Kafka集群的搭建部署，让大家掌握了集群的搭建步骤，《Kafka实战－实时日志统计流程》一文给大家讲解一个项目(或...
文章
技术mix呢
2017-11-17
1342浏览量
万券齐发助力企业上云，爆款产品低至2.2折起！
限量神券最高减1000，抢完即止！云服务器ECS新用户首购低至0.95折！
广告
高并发架构系列：Redis缓存和MySQL数据一致性方案详解
一、需求起因
在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。
这个业务场景，主要是解决读数据从Redis缓存，一般都是按照下图的流程来进行业务操作。
读取缓存步骤一般没有什么...
文章
mikechen优知
2018-12-17
4122浏览量
ELK日志分析方案
针对公司项目微服务化，随着项目及服务器的不断增多，决定采用ELK(Elasticsearch+Logstash+Kibana)日志分析平台进行微服务日志分析。
1.ELK整体方案
1.1 ELK架构图
1.2 ELK工作流程
1.在微服务服务器上部署Logstash，作为Shipper的角色，对...
文章
dalaoyang
2019-04-18
1693浏览量
ELK之日志查询、收集与分析系统
项目由来
(1)开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力
(2)日志数据分散在多个系统，难以查找与整合
(3)日志数据量巨大，查询速度太慢，无法满足需求
(4)无法全局掌控项目运行状况
(5)日志数据查询不够实时
(6)数据分析人员不会写代码，无法分析统计数据
(7)......
文章
技术小哥哥
2017-11-20
1818浏览量
Redis 基础
Redis 特性：
速度快，数据在内存中，通过 key 查找，时间复杂度 O(1)
支持多种数据类型，string，list，hash，set，sort set 等
支持事物，操作都是原子性的
丰富的特性，可用于缓存等
Redis 是单线程还多线程？
Redis 6 多线程参考 https:/...
文章
大数据小先
2020-08-21
123浏览量
Redis 基础
Redis 特性：
速度快，数据在内存中，通过 key 查找，时间复杂度 O(1)
支持多种数据类型，string，list，hash，set，sort set 等
支持事物，操作都是原子性的
丰富的特性，可用于缓存等
Redis 是单线程还多线程？
答：Redis基于Reactor模式开发了...
文章
大数据小先
2020-08-23
258浏览量
互联网 Java 工程师进阶知识完全扫盲
高并发架构
消息队列
为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点？
如何保证消息队列的高可用？
如何保证消息不被重复消费？(如何保证消息消费时的幂等性)
如何保证消息的可靠性传输？(如何处理消息丢失的问题)
如...
文章
java隋七哥
2018-12-07
1992浏览量
Spark 如何写入HBase/Redis/MySQL/Kafka
一些概念
一个partition 对应一个task,一个task 必定存在于一个Executor,一个Executor 对应一个JVM.
Partition 是一个可迭代数据集合
Task 本质是作用于Partition的线程
问题
Task 里如何使用Kafka Producer 将...
文章
祝威廉
2016-09-11
3226浏览量
Redis 5.0 正式发布！一网打尽所有新特性！
作为一统缓存江山的redis，正式发布了5.0稳定版(stable)，激不激动，开不开森？Github链接：https://github.com/antirez/redis/releases/tag/5.0.0 ，让我们一起看看它带来了哪些振奋人心的新特性：
官方列举特性如下：
...
文章
java填坑路
2018-10-19
1360浏览量
Redis 5.0 正式发布！一网打尽所有新特性！
Redis 5.0 正式发布！一网打尽所有新特性！
作为一统缓存江山的redis，正式发布了5.0稳定版(stable)，激不激动，开不开森？Github链接：https://github.com/antirez/redis/releases/tag/5.0.0 ，让我们一起看看它带来了哪些振奋...
文章
优惠码发放
2018-11-11
1418浏览量
Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
1.大数据处理的常用方法
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：
在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。
如果对于数据的分析结果在时间上有比较严格...
文章
jasonli4
2018-09-05
13899浏览量
开源大数据周刊-第99期
资讯
谷歌重磅开源强化学习框架Dopamine谷歌推出了一款全新的开源强化学习框架 Dopamine，该框架基于 TensorFlow，主打灵活性、稳定性、复现性，能够提供快速的基准测试。
整合AI和数据科学新利器：基于Apache Spark的Hydrogen项目以往数据集的准备以及模型的...
文章
开源大数据EMR
2018-09-12
1443浏览量
为什么要用Redis
最近阅读了《Redis开发与运维》，非常不错。
这里对书中的知识整理一下，方便自己回顾一下Redis的整个体系，来对相关知识点查漏补缺。
按照五点把书中的内容进行一下整理：
为什么要选择Redis：介绍Redis的使用场景与使用Redis的原因；
Redis常用命令总结：包括时间复杂度总结与具体数...
文章
java填坑路
2018-10-10
1682浏览量
Redis经典面试题总结
概述
什么是Redis？
Redis 是一个使用 C 语言写成的，开源的高性能key-value非关系缓存数据库。它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。Redis的数据...
文章
clover2837
2020-09-26
1190浏览量
在云上搭建大规模实时数据流处理系统
在大数据时代，数据规模变得越来越大。由于数据的增长速度和非结构化的特性，常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集、管理和处理。本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统，以及这个过程中主要遭遇的一些挑战。实践主要立足建立一套汽车状态实...
文章
云角
2015-12-08
8700浏览量
如何基于MySQL及Redis搭建统一的kv存储服务 | 秦波
一、MySQL+Redis常用部署方式
1.1 拓扑
1.2 特点
业务层通过双写同时写MySQL及Redis。读通常在Redis，若读取不到，则从MySQL读取，然后将数据同步到Redis，Redis通常设置expire或者默认LRU进行数据淘汰。
这种使用方式会有如下问题：
...
文章
jurassic_1
2017-01-15
12187浏览量
这可能是史上最全 Redis 高可用解决方案总结
本文主要针对 Redis 常见的几种使用方式及其优缺点展开分析。
一、常见使用方式
Redis 的几种常见使用方式包括：
Redis 单副本；
Redis 多副本(主从)；
Redis Sentinel(哨兵)；
Redis Cluster；
Redis 自研。
二、各种使用方式的...
文章
java填坑路
2018-09-30
1361浏览量
天下无难试之Redis面试刁难大全
Redis在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行各种刁难。作为一名在互联网技术行业打击过成百上千名【请允许我夸张一下】的资深技术面试官，看过了无数落寞的身影失望的离开，略感愧疚，故献上此文，希望各位读者以后面试势如破竹，永无失败！
...
文章
java填坑路
2018-10-25
937浏览量
[喵咪KafKa(1)]KafKa的介绍以及使用场景
[喵咪KafKa(1)]KafKa的介绍以及使用场景
前言
哈喽!大家好呀,真是一坑未平一坑又起,otter还在继续更新的同时,笔者也为大家带来了关于kafka相关的一系列博客,要说到kafka就离不开现在特别火热的大数据技术,了解的童鞋可能只要一些大数据的带名词比如Hadoop,spark,s...
文章
喵了个咪_
2016-09-09
6052浏览量
实时交互平台流程与技术分析
最近几个月一直在做基于storm的流式处理，索性整理下所有的知识点与技术知识。
一、数据准备
1、首先，我们需要用户的所有数据，使用MapReduce进行数据处理，生成业务宽表导入hbase与Redis，用于后续实时处理直接从Redis中获取相应数据，减少读写磁盘IO的消耗。
...
文章
松伯
2016-08-25
552浏览量
Kafka端到端审计
概述
Kafka端到端审计是指生产者生产的消息存入至broker，以及消费者从broker中消费消息这个过程之间消息个数及延迟的审计，以此可以检测是否有数据丢失，是否有数据重复以及端到端的延迟等。
目前主要调研了3个产品：
Chaperone (Uber)
Confluent Contro...
文章
朱小厮
2017-05-10
1127浏览量
ActiveMQ消息队列
什么是MQ？
消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术(如:WebS...
文章
~信~仰~
2016-09-03
6076浏览量
一、生产应用场景
1、业务范围redis cluster在唯品会主要应用于后端业务，用作内存存储服务。主要大数据实时推荐/ETL、风控、营销三大业使用。cluster用于取代当前twemproxy三层架构，作为通用的存储架构。redis cluster可以大幅度简化我们的存储架构，也解决twemproxy架构无法在...
文章
玄学酱
2018-02-27
937浏览量
硬核干货！ Redis 性能优化, 建议收藏！
在一些网络服务的系统中，Redis 的性能，可能是比 MySQL 等硬盘数据库的性能更重要的课题。比如微博，把热点微博[1]，最新的用户关系，都存储在 Redis 中，大量的查询击中 Redis，而不走 MySQL。
那么，针对 Redis 服务，我们能做哪些性能优化呢？或者说，应该避免哪些性能浪...
文章
程序员白楠楠
2020-12-11
742浏览量
Redis面试题汇总(附答案)，面试突击专用
本文的面试题如下：
Redis 持久化机制
缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题
热点数据和冷数据是什么
Memcache与Redis的区别都有哪些？
单线程的redis为什么这么快
redis的数据类型，以及每种数据类型的使用场景，Redis 内部结构
redis的过期策略以...
文章
程序员白楠楠
2020-12-08
223浏览量
如何正确使用 Flink Connector？
本文主要分享 Flink connector 相关内容，分为以下三个部分的内容：第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。
一.Flin...
文章
阿里云实时计算Flink
2019-09-02
8583浏览量
RedisConf19会议记录 Day0: Training
前言
2019年的RedisConf比以往时候来的更早一些，今年会议时间是4月1-3号，仍然是在旧金山鱼人码头Pier 27。恰逢今年是Redis第10周年，规模也比以往大一些，注册人数超过1600人，总共有80个议题，除了RedisLabs外还有很多云厂商和Redis用户带来分享，今年也是阿里云...
文章
仲肥
2019-04-11
776浏览量
阿里云Redis典型场景：如何构建可扩展通用排行榜系统
摘要
本文主要介绍通用排行榜的需求功能，并介绍了基于Redis的ZSET数据结构的排序方法，另外探讨了通用排行榜的架构及用户如何通过阿里云Redis解决通用排行架构的技术问题。
背景
移动互联网时代的春风刮来了各种不同的业务场景，直播元年、短视频元年、类微博信息流、各种电商业务也在这个移动互联网快...
文章
白宸
2017-12-12
5780浏览量
9568
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
