数据平台架构基于AWS的使用总结- Redshift优劣

最新推荐文章于 2024-10-12 09:26:14 发布
最新推荐文章于 2024-10-12 09:26:14 发布
阅读量5.2k 收藏 7
点赞数 1
分类专栏： AWS 文章标签： 数据平台 redshift 架构 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tonylee0329/article/details/50511025
版权
本文总结了AWS Redshift作为数据仓库服务的优点，如快速部署、高性能和稳定性，同时也指出其在中国区未开放、网络传输问题以及与ETL的配合中可能存在的挑战。建议在早期阶段使用Redshift快速搭建数据平台，聚焦数据分析。
摘要由CSDN通过智能技术生成

AWS Redshift优劣使用总结

标签（空格分隔）： Blog

AWS的数据仓库服务-Redshift，可以比较快速方便地实现数据仓库的基础模块，我们的数据仓库目前就是基于Redshift。

Why Redshift

  • 可以快速地实现cluster存储，基本零运维

  • 性能高、稳定性强(这一点可以查看参考链接1)

    虽然是2014-02的数据，但是基本的情况足以说明，redshift在Scan、Aggregation、Join等各方面都表现出非常优越的领先优势。
    而且目前的redshift也已经增加了对自定义函数(UDF)的支持，相信能够满足更多人的选择.

  • 当时我们的日志解析模块使用EMR，结果存储在S3，很天然地选择Redshift来作为后续的存储和计算。

  • 整个集群会做镜像，可以实现快速恢复及集群拷贝.

以上更多是我们的选择考虑，下面来聊一聊觉得需要考虑的不好的地方：

Trade Offs

  • 目前Redshift在中国区并未开放，包括挺多其他大数据相关服务。我们目前服务在新加坡节点
  • GFW的跨网络问题

我们的服务器是在国内，这个就必须谈到跨data
center的数据传输问题，类似的一个chain：中国区数据打包-> 上传新加坡节点的S3 -> 从S3 upload到新加坡节点的Redshift。
这个过程中遇到挺多网络的问题

最低0.47元/天 解锁文章
OLAP: Hive, Impala and Redshift
Steven Li's Zone
03-27 1945
What is OLAP and OLTP？ OLTP stands for Online Transaction Processing (OLTP) while OLAP stands for Online Analytic Processing (OLAP). The main difference is their target. Both of them are two type
aws-java-sdk-redshift-1.11.106.jar
05-24
javaweb/javaee 常用jar包，亲测可用，若需其他版本其他jar包请留言我看到后会上传分享
亚马逊AWS-Amazon-Redshift深入解析
01-17
AWS-Amazon-Redshift深入解析,中文版，浅显易懂。 • Redshift简介 • 数据加载的最佳实践 • 查询语句优化的最佳实践 • 表结构设计的最佳实践 • 新特性介绍 • 应用迁移的注意事项 • AWS案例分享
亚马逊RedShift调研-浅谈技术框架、优缺点及网上风评
OhTango的博客
03-08 438
　RedShift是亚马逊开发的一个站式云上数据仓库服务。网上案例与风评较少，做的一些个人总结。 借助 Amazon Redshift 的数据仓库架构，您可以自动处理大部分常见管理任务，这些任务涉及云数据仓库的预置、配置和监控等方面。连续、递增且自动地备份到 Amazon S3。快速恢复；您可以在几分钟内开始查询，同时数据会在后台缓冲。只需单击几下就可以跨区域启用灾难恢复。
推荐几种主流数据仓库：深度剖析与对比
最新发布
weixin_43759894的博客
10-12 1476
虽然Hadoop本身不是数据仓库，但它提供了数据仓库的基础架构，并与Hive、HBase等工具配合使用，构建出完整的数据仓库解决方案。Apache Hive是一个基于Hadoop的开源数据仓库系统，它将数据存储在HDFS（Hadoop Distributed File System）中，并提供了类似SQL的查询语言（HiveQL），让用户可以方便地对大规模数据进行查询和分析。ClickHouse非常适合需要高性能数据查询和实时分析的场景，例如网站和应用的日志分析、用户行为分析、实时监控、BI数据分析等。
Druid对比Redshift
weixin_30423977的博客
05-22 193
Redshift 内部使用了亚马逊取得了授权的ParAccel 实时注入数据 抛开可能的性能不同, 有功能性的不同Druid 适合分析大数据量的流式数据, 也能够实时加载和聚合数据一般来讲， 传统的数据仓库包括列式存储只摄入批量数据， 没有对流式数据做优化 Druid 是只读分析型数据仓库 Druid支持写语句， 但是数据是不变的， 也不支持join. ParAccel 是完全数据库， 支...
Amazon Redshift构建新一代数据分析BI系统
郑帅的博客
02-18 4332
导读 本文主要介绍了Amazon Redshift新一代企业级云平台数据仓库服务，并结合实际的客户使用案例与场景描述了如何基于Amazon Redshift构建高可靠，性能优化，并且成本节约的数据仓库系统。 因为Amazon Redshift优异的计算效率与性能，基于Amazon Redshift的BI系统被广泛地应用于互联网数据分析类场景，例如电商中产品维度报表的计算生成，社
PyPI 官网下载 | aws-cdk.aws-redshift-0.38.0.tar.gz
01-26
标题中的“PyPI 官网下载 | aws-cdk.aws-redshift-0.38.0.tar.gz”表明这是一个从Python Package Index（PyPI）官方源下载的软件包，名为“aws-cdk.aws-redshift-0.38.0”，其格式为tar.gz，这是一种常见的压缩文件...
PyPI 官网下载 | aws-cdk.aws-redshift-1.64.0.tar.gz
01-09
总结来说，"aws-cdk.aws-redshift"是AWS CDK的一部分，它为Python开发者提供了便利的工具，使他们能够用熟悉的编程语言来管理Amazon Redshift集群，从而提高工作效率，降低运维复杂度。对于需要处理大规模数据分析的...
PyPI 官网下载 | aws-cdk.aws-redshift-1.110.1.tar.gz
01-09
总结来说，aws-cdk.aws-redshift-1.110.1是AWS CDK的一个模块，为开发者提供了在Python环境中操作和管理Amazon Redshift的强大工具。通过这个库，可以编写简洁的代码来定义和自动化Redshift集群的生命周期，从而简化...
数据仓库设计与实现：Redshift与Hive
AI天才研究院
01-28 673
1.背景介绍 在大数据时代，数据仓库设计和实现是一项至关重要的技能。Amazon Redshift和Hive是两种非常受欢迎的数据仓库解决方案，它们各自具有不同的优势和应用场景。在本文中，我们将深入探讨Redshift和Hive的核心概念、算法原理、最佳实践和实际应用场景，并为读者提供一些有价值的技术洞察和建议。 1. 背景介绍 数据仓库是一种用于存储和管理大量历史数据的系统，它通常用于数据...
aws-redshift-shell:用于 AWS Redshift 集群配置、创建和管理的 Shell 脚本
06-02
Redshift 管理脚本 以下是我们在编写的一些脚本； 他们帮助我们管理我们负责的集群。 Redshift 启动/停止脚本 bin/redshift.sh脚本确保在重启时保存集群的配置和数据。 事实上，停止一个 redshift 集群更像是一个集群删除。 如果你做得不好，你会失去： 集群数据 集群的网络配置（在 VPC 中？在哪个子网组中？使用哪个安全组？等） 集群的参数组名称 bin/redshift.sh自动创建最终数据快照并将这些信息保存在 JSON 文件中。 在集群启动期间，脚本将恢复这些信息。 从 crontab 运行，它可以帮助您节省大量资金。 先决条件 您必须安装和 ： pip install awscli apt-get install jq 配置 etc/redshift.conf文件处理一些配置变量。 有关更多详细信息，请参阅内嵌注释。 用法 ./bin/r
实时数据仓库：Redshift vs BigQuery vs Hive
AI天才研究院
12-25 1071
1.背景介绍 在今天的大数据时代，实时数据仓库已经成为企业和组织中不可或缺的技术基础设施。实时数据仓库能够实时收集、存储和分析大量数据，为企业提供实时的业务洞察和决策支持。在市场上，Redshift、BigQuery和Hive等实时数据仓库解决方案分别由Amazon、Google和Apache开发，它们各自具有独特的优势和特点。在本文中，我们将深入探讨这三种实时数据仓库的核心概念、算法原理、操作...
Amazon Redshift 技术总结
weixin_40426261的博客
07-22 145
Amazon Redshift 是一种完全托管的、基于云的数据仓库服务，专为处理和分析大规模数据集而设计。它提供高性能的数据查询和分析能力，广泛应用于商业智能（BI）、数据分析和数据仓库等领域。以下是对 Amazon Redshift 技术的详细总结。概述是一种完全托管的、基于云的数据仓库服务，由 Amazon Web Services (AWS) 提供。设计用于处理和分析大规模数据集，提供高性能的查询和数据分析能力。
AWSRedshift：高性能、高吞吐量的数据存储系统
AI天才研究院
07-05 4262
作者：禅与计算机程序设计艺术 《AWS Redshift:高性能、高吞吐量的数据存储系统》 作为一名人工智能专家，我深知数据是企业核心资产之一，数据存储系统的性能与可靠性直接关系到企业的业务发展和竞争优势。在众多大数据存储系统中，AWS Redshif
Redshift__跨服务器复制表，使用unload和copy命令在S3中实现
lusklusklusk的博客
09-17 632
官方文档 https://docs.aws.amazon.com/zh_cn/redshift/latest/dg/t_Unloading_tables.html https://docs.aws.amazon.com/zh_cn/redshift/latest/dg/loading-data-files-using-manifest.html 表迁移：利用 RedShift Upload 功能将源服务器的表数据以文件形式导入 S3，再利用 COPY 功能把该文件从 S3 中导入目标服务器的表。如果源服务器
AWS亚马逊Redshift的特点功能介绍
qq_40585384的博客
12-24 5275
Amazon Redshift 使用了多种创新技术，对于大小在 100GB 到 1PB 或更高的数据集，可以实现很高的查询性能，并使用了列式存储。Amazon Redshift 采用了大规模并行处理 (MPP) 数据仓库架构，可以对 SQL 操作进行并行分布处理，以便利用所有可用资源。底层硬件支持高性能数据处理，使用本地连接的存储以便尽可能增大 CPU 与驱动器之间的吞吐量，同时使用 10GigE 网状网络以便尽可能增大节点之间的吞吐量。
亚马逊云科技云数据仓库Redshift，让您的数据飞起来
亚马逊云科技专栏
05-24 8842
亚马逊云科技云数据仓库Redshift，让您的数据飞起来 随着信息技术的迅速发展，各行各业积累的数据都呈现出爆炸增长的趋势，我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长，如何快速低成本的分析这些海量数据、挖掘数据的价值、让数据为公司的业务提供支撑，成为困扰企业的一个问题。
AWS redshift->hdb pg(Greenplum)，DDL语法转换规则
weixin_33681778的博客
10-19 399
背景redshift 和 Greenplum都是源自PostgreSQL的MPP数据库： https://wiki.postgresql.org/wiki/PostgreSQL_derived_databases 语法上有一些差异，从redshift切换到greenplum(或阿里云hdb pg)时，DDL需要做一定的转换。 redshift creat...
PyPI 官方发布 aws-cdk.aws-redshift-1.64.0 Python库压缩包
因此，通过安装aws-cdk.aws-redshift-1.64.0.tar.gz，开发者可以使用Python语言来编程定义和操作AWS Redshift数据仓库，为数据仓库的操作和管理提供自动化和代码化的手段。这对于希望在AWS上部署数据仓库解决方案，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值