一文读懂基于Redis的Amazon MemoryDB数据库

最新推荐文章于 2024-05-21 18:11:03 发布
最新推荐文章于 2024-05-21 18:11:03 发布
阅读量2.5k 收藏 4
点赞数 1
分类专栏： 推广合作 文章标签： 数据库 redis database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47872288/article/details/125414495
版权

目录

前言

传统的自建Redis通过Jedis、Redisson以及Lettuce

  • Jedis：由JAVA实现，支持较为全面的Redis命令
  • Redisson：分布式操作多以及可拓展性强
  • Lettuce：分布式缓存框架应用比较多

对比传统方法以及传统数据库，通过云数据库搭建Redis，从效率、操作、安全以及可用性来说，功能效果非常齐全，将其传统数据库中的缺点转变成优点。

MemoryDB 同时可提供内存性能和多可用区持久性，可用作微服务应用程序的高性能主数据库，无需单独管理缓存和持久数据库
MemoryDB of Redis 拥有持久化内存数据库服务，提供超快的性能

  1. MemoryDB 与流行的开源数据存储 Redis 兼容，能够使用友好的Redis 数据结构、API 和命令快速构建应用程序
  2. MemoryDB可将所有数据都存储在内存，实现微秒级读取和个位数毫秒级写入，从而达到低延迟和高吞吐量
  3. 使用多可用区事务日志来跨多个可用区从而达到持久存储数据，以实现快速故障转移、数据库恢复和节点重启
    其核心组件拥有：集群、节点、碎片等

关于Amazon的其他数据库也有很多种类型，优点很多而且非常容易上手：数据库免费试用链接及上手教程。再者不定期的举办技术会议来促进交流，通过云原生数据库在线大会的链接网址，可以学到更多前沿技术。不仅文档教程代码齐全，而且免费套餐力度特别大，亚马逊云科技提供了100余种产品免费套餐。其中，计算资源Amazon EC2首年12个月免费，750小时/月；存储资源 Amazon S3 首年12个月免费，5GB标准存储容量；数据库资源 Amazon RDS 首年12个月免费，750小时；Amazon Dynamo DB 25GB存储容量 永久免费。附上链接：100余种产品免费套餐

在进入正文原理以及实验讲解的同时，需要注册账号以及验证个人信息
(注：1. 个人信息的地址需要使用英文
2. 账单信息使用VISA等信用卡或借记卡号)

1. 配置 MemoryDB

1.1 获取 AWS 访问密钥

主要步骤如下：

  1. 通过前面的步骤注册登录 AWS 管理控制台，通过如下打开IAM 控制台 。
  2. 在左侧导航栏目中，选择 Users (用户)，创建用户（选择Security credentials (安全凭证) 选项卡），在 Access keys(访问密钥) 部分，选择 Create access key (创建访问密钥)
    在这里插入图片描述
  3. 设置权限（将其用户添到组中），并且设置权限的边界（如果不设置权限会提示此用户没有访问权限）。
  4. 要查看新访问密钥对，请选择 Show (显示)。关闭此页面后，您将无法再次访问该私有访问密钥。您的凭证与下面类似：
    在这里插入图片描述
  5. 要下载密钥对，请选择 Download .csv file (下载 .csv 文件)。将密钥存储在安全位置。
    在这里插入图片描述

1.2 下载和配置 AWS CLI

配置凭证的方式可以通过编程方式或通过AWSCLI（须配置凭证来为应用程序启用授权）
下载和配置的文档链接如下：AWS CLI

展示界面Windows的安装过程（命令比较少）：
在这里插入图片描述

同理linux平台上的安装过程（其他平台同理）：
在这里插入图片描述
之后还需要配置凭证，通过aws configure（以下显示示例值）

AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [None]: us-west-2
Default output format [None]: json

截图如下：
在这里插入图片描述

2. 配置集群

2.1 创建集群

创建集群的方式有三种：

第一种：通过控制台
具体步骤如下，点击创建集群
在这里插入图片描述
子网组、VPC以及子网（如果启用了多可用区，子网组包含两个不同可用区以上的子网）
在这里插入图片描述

设置集群

  • 版本：兼容性选择默认值6.2
  • 端口：默认值选择Redis的6379（如果端口冲突，可选择相应的端口号）
  • 参数组：默认选择default.memorydb-redis6
  • 节点类型：选择适合节点类型的内存值
  • 分片数量：该集群所需的分区数（为了提高集群可用性，建议选择2个分片以上）
  • 副本数：为分片中选择需要的只读副本数（如果启用多可用区，每个分片1个副本以上）
    在这里插入图片描述

对于高级选项中的安全组（充当防火墙来控制对集群的网络访问）

  • 加密数据（静态加密：对磁盘上存储的数据加密；传输中加密：对传输的数据启用加密）
    在这里插入图片描述

之后的快照、维护以及集群标签部分视个人情况而定

第二种：通过AWSCLI

  • Linux示例代码：
aws memorydb create-cluster \
    --cluster-name my-cluster \
    --node-type db.r6g.large \
    --acl-name my-acl \
    --subnet-group my-sg
  • Windows示例代码：
aws memorydb create-cluster ^
   --cluster-name my-cluster ^
   --node-type db.r6g.large ^
   --acl-name my-acl ^
   --subnet-group my-sg

成功创建之后会输出一串json格式

第三种：通过API

以上三种更加详细的说明可看：创建集群文档

2.2 授予集群访问权限

所有 MemoryDB 集群通过 Amazon EC2 实例进行访问（须授权EC2实例）
同一 VPC 中 EC2 实例与集群之间的访问
启动实例的具体步骤：Amazon EC2 控制台

  1. 创建密钥对（启动的实例没有密钥对，就不能连接到该实例）
    在这里插入图片描述

创建实例

  • Name and tags：名称与标签
  • Application and OS Images (Amazon Machine Image)：快速启动和AMI映像
  • 实例类型：默认选择t2.micro实例类型（如果t2.micro实例不可用的区域，可选择t3.micro 实例）
  • 密钥对：选择一开始创建的密钥对
  • 网络设置：选择现有的安全组或者创建新的安全组（此安全组可用于限制对集群的访问权限）
    在这里插入图片描述

在集群的安全组中创建自定义规则（此安全组将允许访问其他安全组成员），编辑入站规则，选择添加规则
从 Type 中选择 Custom TCP Rule

  • 端口号：指定创建集群时的端口（此处为了方便测试，统一使用了广播地址0.0.0.0）
  • Source源：安全组的ID
    在这里插入图片描述

启用连接访问后，就可连接到集群
在这里插入图片描述

最后的展示页面如下：
在这里插入图片描述

2.3 连接到集群

确定集群的终端节点：（通过describe-clusters命令搜索集群终端节点）

aws memorydb describe-clusters \
  --cluster-name mycluster

命令将返回集群的终端节点，通过json格式响应
在这里插入图片描述

使用 redis-cli 连接到 MemoryDB 节点
下载并编译 redis-cli 实用工具：

$ sudo yum -y install openssl-devel gcc
$ wget http://download.redis.io/redis-stable.tar.gz
$ tar xvzf redis-stable.tar.gz
$ cd redis-stable
$ make distclean
$ make redis-cli BUILD_TLS=yes
$ sudo install -m 755 src/redis-cli /usr/local/bin/

编译执行过程截图：

在这里插入图片描述

在EC2的实例中执行如下命令（集群和端口的终端节点替换此示例）
通过src/redis-cli -c -h Cluster Endpoint --tls -p 6379
具体Cluster Endpoint的集群通过点击集群终端节点即可查看

在这里插入图片描述

2.4 删除集群

将其创建集群的名称删除即可
单独删除一个集群：aws memorydb delete-cluster --cluster-name my-cluster
删除多个集群：

aws memorydb delete-cluster \
    --cluster-name my-cluster \
    --region us-east-1

总结

纵观全文，通过阅读文档以及整套实验下来，行云流水，得益于文档以及功能都比较齐全，体验感很美妙。本身MemoryDB无需单独管理缓存和持久数据库，是一款非常高性能的数据库，基于Redis提供了持久化内存数据库服务，有其读取以及写入数据，达到低延迟和高吞吐量；能够友好使用Redis的数据结构、API 和命令快速构建应用程序

通过以上的实验步骤，你已经可以入门学习了，更多的探索部分如果还想了解学习可通过：Amazon MemoryDB for Redis 官网文档

亚马逊云科技专为开发者们打造了多种学习平台：
①入门资源中心：从0到1 轻松上手云服务，内容涵盖：成本管理，上手训练，开发资源。
② 架构中心：亚马逊云科技架构中心提供了云平台参考架构图表、经过审查的架构解决方案、Well-Architected 最佳实践、模式、图标等。
③构建者库：了解亚马逊云科技如何构建和运营软件。
④工具包：用于在亚马逊云科技平台上开发和管理应用程序。

除了代码文档齐全完善，为了让更多的人体验体会，特此推出【专属福利】
福利一：100余种产品免费套餐。其中，计算资源Amazon EC2首年12个月免费，750小时/月；存储资源 Amazon S3 首年12个月免费，5GB标准存储容量。
福利二：最新优惠大礼包：200 数 据 与 分 析 抵 扣 券 ， 200 数据与分析抵扣券，200 数据与分析抵扣券，200机器学习抵扣券，200$微服务与应用开发抵扣券。
福利三：解决方案CloudFormation一键部署模版库

码农研究僧
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
memorydb:内存数据库
04-08
内存数据库 小型内存数据库。 这对于测试和测试环境很有用。 不应在生产中使用。 安装 go get github . com / krstak / memorydb / v3 原料药 // Add adds a new item into the given collection. // Returns an error if occurs. Add ( collection string , item interface {}) error // FindAll finds all items in the collection and maps them into the items. // Returns an error if occurs. FindAll ( collection string , items interface {}) error // FindBy find
一文读懂mysql数据库
最新发布
05-24
非关系型数据库：（NO SQL数据库）：mongodb、 redis（只要涉及接口的都要去鉴权，最基本的例子--已经登录的账号有没有权利去操作查看的权利（等于每次操作都要鉴权）等，特点：因为存储时效大多只有一小时（时效过...
如何在本地连接Amazon MemoryDB for Redis？
aliyuncloud的博客
08-08 289
最后，我们成功连接到Amazon MemoryDB for Redis，并学会了使用基本的Redis命令进行数据操作。通过本文，我们将学习如何在本地环境中连接并使用Amazon MemoryDB for Redis，以实现更高效的数据管理和访问。通过成功连接到Amazon MemoryDB for Redis，我们可以使用Redis命令行或者Redis客户端工具在本地进行各种操作。执行命令后，如果一切正常，将成功连接到Amazon MemoryDB for Redis，并可以通过命令行进行各种数据操作。
AWS数据库之MemoryDB for Redis
QYHuiiQ
05-21 336
MemoryDB 与 Redis（一种热门的开源数据存储）兼容，使您能够使用他们目前已使用的同样灵活友好的 Redis 数据结构、API 和命令来快速构建应用程序。通过添加和移除节点轻松进行横向扩展，或者通过移动到较大或较小的节点类型轻松进行纵向扩展。灵活友好的 Redis 数据结构和 API。适用于 Redis 的 MemoryDB 是一项耐用的内存数据库服务，可提供超快性能。使用多可用区事务日志实现数据持久性，提供快速的数据库恢复和重启。多可用区可用性，具有自动失效转移和自动检测和恢复节点故障的功能。
论文解读 - MemoryDB: 一种快速且持久的内存优先云数据库
weixin_45583158的博客
05-14 51
最近在微信群里看到 @mwish 分享 Amazon 关于 MemoryDB 的论文:Amazon MemoryDB: A Fast and Durable Memory-First Cloud Database[1]，读完感觉设计思路挺不错，就将个人在阅读中认为论文里面的一些关键要点记录并分享出来。MemoryDB 是基于 Redis 开发的内存数据库，主要的目标是解决社区 Redis 在数据...
使用 Amazon MemoryDB for Redis 作为 JuiceFS 的元数据引擎
亚马逊云科技专栏
08-14 383
多个副本可以确保同时有多个实例存活，并且这些实例之间的数据几乎一致（为什么说是「几乎一致」后面会讲到），而 Redis Sentinel 可以定期检测 Redis master 的健康状况，如果 Redis master 意外宕机，Redis Sentinel 会立即进行故障切换（切换时间通常在秒级），将某个副本实例晋升为 master 实例，保证 Redis 服务的可用性。JuiceFS 的元数据有多种类型，如文件、目录、属性、文件锁等，这里每一种类型的元数据在 Redis 中都对应不同的 key。
AWS迁移教程，Redis迁移到Elasticache
九河云的创作之路
04-01 963
为解决这一问题，AWS云专门提供多种简单且高效的迁移方式，进行帮助企业实现应用程序的平稳迁移，从而降低迁移过程中的风险和成本。找到用于ElastiCache和源端实例的安全组，然后选中该安全组，向安全组添加额外的入站规则，允许安全组中的所有实例在端口 6379 上的 TCP 流量。也可以查看ElastiCache的Events（事件）了解迁移信息，Event（事件）页面将显示迁移相关信息，包括迁移开始时间、完成时间以及迁移是否失败。如果迁移失败，此页面将包含有关迁移失败的信息。
亚马逊云科技2023年1-2月服务上新
亚马逊云科技专栏
03-15 341
从计算、存储和数据库等基础设施技术，到机器学习、人工智能、数据湖和分析以及物联网等新兴技术，亚马逊云科技为客户提供多样的服务及功能。借助亚马逊云科技，您可以在种类繁多的前沿技术中选择适合您工作负载的服务和功能来进行构建及创新。在过去的两个月里，由西云数据运营的亚马逊云科技中国（宁夏）区域落地了75个，由光环新网运营的亚马逊云科技中国（北京）区域落地了75个新功能或新服务。我们将基于客户需求，与光环...
一文读懂redis五大类型.pdf
04-26
redis数据类型详解
【Redis开发】Redis数据库 v6.0.20
05-04
Redis 通常被称为数据结构服务器。这意味着 Redis 通过一组命令提供对可变数据结构的访问，这些命令使用带有 TCP 套接字和简单协议的服务器-客户端模型发送。所以不同的进程可以以共享的方式查询和修改相同的数据...
Redis7引领内存数据库新纪元.docx
05-15
在本文中，我们将深入了解 Redis 7.2 的新特性，以及这些更新如何帮助开发者和企业更好地利用内存数据库技术。 Redis 7.2 的新特性 1. Unified Redis Release Redis 7.2.0 是首个采用 Unified Redis Release 发布...
oracle-in-memory-db
07-18
oracle,in memory dboracle,in memory db,oracle,in memory db,oracle,in memory db,oracle,in memory db,oracle,in memory db,
redis非关系型数据库
05-21
1 Redis默认有16个库（DB0-DB15）； 2 Redis是单线程的，最新版本的redis支持多线程的 3 支持数据库主从复制，主库master数据会同步到从库slave,同步策略有全量同步、增量同步； 4 分布式系统下，Redis可以利用哨兵...
AWS学习笔记-DB小结
weixin_43394724的博客
09-01 978
正确选择数据库： 工作负载平衡？还是读量大？写量大？ 吞吐量，是无序波动还是可预测？ 要存储多少数据，需要多长时间？平均对象大小 数据持久性要求 延迟要求 数据模型 强模式或灵活模式，SQL或NoSQL 许可证费用 Database types which are supported by AWS: Relational Database RDS Postgres MySQL MariaDB Orac
【Doris】 技术实现 - 冷热数据存储(二)
m0_54252387的博客
07-26 642
上一篇文章[ApacheDoris技术实现-冷热数据存储(一)]主要讲述了冷热数据存储与存算分离之间的关系，结合数据仓库的历史，分析了存算分离在实时数仓上面的局限性，相比起分布式计算类项目（spark、flink），实时数仓只能做到有限制的存算分离。并根据这一现状，描述了一个冷热数据与存算分离结合的模型。接下来，我会先后讲述该模型的几个主要模块的原理与实现热数据转冷、冷数据读写。本文介绍了DORIS冷热数据转换的基本功能，热数据转冷与冷数据读写。关于冷热数据的实现，还有很多方面可讲。...
Redis集群（Cluster）学习笔记
q42368773的博客
10-16 2047
Redis Cluster 简介 redis是一个开源的key value存储系统，受到了广大互联网公司的青睐。redis3.0版本之前只支持单例模式，在3.0版本及以后才支持集群； redis集群采用P2P模式，是完全去中心化的，不存在中心节点或者代理节点； redis集群是没有统一的入口的，客户端（client）连接集群的时候连接集群中的任意节点（node）即可，集群内部的节点是相互通信...
redis学习-AWS redis命令禁用及参数配置
line_on_database的博客
02-03 1264
一、背景 因为需要更改些redis的配置项，因为某些原因，redis搭建在aws上，所以与正常处理方式不一样，这里讲明一下 二、限制 正常查询和更改配置项用 config get config set 就可以解决，但是aws禁用了config，即使是dba也不能使用，于此同时，aws还禁用的命令有 bgrewriteaof bgsave cluster addslot cluster delslot cluster setslot conf
in memory db 使用讨论。
wulinux
11-26 318
我们单位的一个表里有大概1000万条数据。 但这个数据库非常的慢，而我们现在有几个系统要经常的从里面导入全部的数据出来进行数据分析。 我们现在的想法是 在in memory db 的数据库里做一个表。把全部的源数据一次的导入到里面（计划是 每天做一次数据reload）。 其他的系统的就从这个In memory DB 里读。 用了几个In memory DB ，但性能都一般 （h2,derby 等...
Redis 是键值对数据库吗
06-11
是的，Redis是一款基于键值对的内存数据库，它将所有的数据都存储在内存中，因此读写速度非常快。Redis支持多种数据类型，包括字符串、哈希、列表、集合和有序集合等，每个数据类型都可以通过一个唯一的键来进行访问和操作。 Redis的键值对数据库特点包括： 1. 高性能：Redis将所有数据都存储在内存中，因此读写速度非常快。 2. 灵活性：Redis支持多种数据类型，可以满足不同场景下的数据存储需求。 3. 可扩展性：Redis支持主从复制和集群模式，可以轻松地扩展到多台服务器上。 4. 持久化：Redis支持数据持久化，可以将内存中的数据定时或者按照条件写入磁盘中，保证数据不会因为服务器重启或者故障而丢失。 总之，Redis的键值对数据库特点使得它在缓存、会话管理、排行榜等场景下非常适用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农研究僧

你的鼓励将是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值