AWS大数据之组件整合

最新推荐文章于 2022-05-19 14:29:34 发布
最新推荐文章于 2022-05-19 14:29:34 发布
阅读量1.1k 收藏 5
点赞数 2
分类专栏： AWS 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangqiang9x/article/details/84787930
版权

kafka或kinesis 做数据收集
S3+redshift 做数仓
EMR做计算
RDS做数据市场
AWS Glue / AWS Data Pipeline 做数据集成

这些组件配合起来，几乎可以做各种方式的数据分析
kinesis还是比较推荐，延迟时间可以配置的算是实时的，而且功能会多一点，聚合、过滤什么的都可以

更多的组合请参见这篇官方文档，我是从里面选了几个做为我的最侍实践方案，前期足够使用
https://aws.amazon.com/cn/big-data/datalakes-and-analytics/?nc2=h_m2

后续按需扩展服务不会产生影响或是工作量的重复

人月神话
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AWS大数据解决方案
07-30
毫无疑问，一个大规模生产、分享和应用数据的时代逐渐朝我们走来。互联网时代将我们带入了一个以“PB”为单位的结构与非结构化数据信息时代。大数据之于企业、个人等是什么样的存在不需要再赘述。
AWS 大数据实战 - 环境准备(一)
wangzan18的博客
03-22 977
实验介绍 本次实战内容将教大家如何使用 AWS 的大数据和数据湖的相关服务和组件，顺利完成大数据的收集，存储，处理，分析和可视化的完整的流程，主要会介绍以下几个 AWS 大数据服务： Lab1：实时流数据处理，基于 Kinesis 产品家族实现 Lab2：批量数据处理，基于 EMR(Spark) 实现 Lab3：数据可视化，基于 Quicksight + Athena 实现 Lab4：数据实时检...
AWS - 网络服务组件
Ellen的博客
02-07 2439
一直以来在用AWS搭建一些分布式的服务，要知其然，知其所以然，抽空对相关的理论进行了梳理和总结，特在此记录和分享。
aws数据解决方案
07-16
实施数据流采集处理、大规模存储、大集群并行运算
AWS-PlantUML, AWS组件，宏和其他包含AWS组件的组件.zip
09-17
AWS-PlantUML, AWS组件，宏和其他包含AWS组件的组件 aws-plantumlPlantUML，MACROS，构造型，以及其他用于使用AWS组件创建PlantUML图的工具。自动气象站PlantUML具有高质量的画面和方便的AWS组件和服务，所有AWS图标中都有自动气象站图标，以便你可以
大数据技术脑图
12-11
首先，大数据生态家族是大数据技术的基础，它包括多个相互协作的组件，如Hadoop、Spark、Hive、HBase、Kafka等。Hadoop作为分布式存储和计算的基石，由HDFS（Hadoop Distributed File System）和MapReduce两部分组成...
大数据面试题分类记录.rar
06-24
9. **云计算与大数据**：面试者需要理解AWS、Azure、Google Cloud等云服务提供商的大数据解决方案，如Amazon EMR、Azure HDInsight等。 10. **项目经验**：面试官可能询问你在实际项目中的角色、遇到的问题及解决...
企业级大数据平台实践之路.docx
10-14
8. **容器化与微服务**：Docker和Kubernetes等容器技术使得大数据组件的部署和管理更加灵活，而微服务架构则有助于构建可扩展、高可用的大数据应用。 9. **持续集成与持续交付(CI/CD)**：DevOps实践在大数据领域也...
2023年史上最全的大数据面试背诵草稿（适用于大数据开发，大数据运维，云计算，数据治理，大数据架构师）
最新发布
02-19
10. **云计算**：随着云服务的普及，面试者需了解如何在AWS、Azure或Google Cloud等云平台上部署和管理大数据解决方案，以及使用如EMR、HDInsight等云服务。 11. **大数据架构设计**：面试者应具备设计和优化大数据...
Hadoop技术大数据概述共9页.pdf.zip
11-21
此外，随着云计算的发展，Hadoop也与其他云服务（如AWS EMR）结合，进一步提升了其在大数据领域的应用潜力。 【总结】 这个9页的PDF文档可能涵盖了Hadoop的基本原理、架构、主要组件、大数据的定义和特征，以及...
AWS云计算技术交流（2016最新整体组件和架构介绍）
03-10
aws全球基础设施， 计价模型，计算服务， EC2 Instance, EBS volume types, ELB, 网络架构，VPC构建私有云， 存储服务，备份&归档， 数据库服务， 大数据服务， DevOps， 开发工具及开发文档， 混合IT架构介绍
AWS 大数据实战 Lab6 - 数据仓库和可视化(六)
wangzan18的博客
03-31 452
在本练习中，您将学习如何使用Redshift和Amazon QuickSight平台构建数据可视化应用程序。您将看到如何使用Amazon的数据仓库从数据湖中装载数据，并用完全托管的数据可视化工具进行展现。 本实验的目标包括： 1、 创建Redshift集群 2、 将S3的数据文件批量装载到Redshift数据库 3、 使用Quicksight对数据表进行可视化 本实验的架构图如下 构建数据仓...
AWS组件详解1——EC2之启动实例，选择AMI
JackyHuang79的博客
05-19 4608
EC2全称是亚马逊弹性计算云（Amazon Elastic Compute Cloud），在AWS整个云计算体系中，它负责提供的是安全而且可以随时启用并且自动调整大小的计算能力。
Amazon 大数据分析 AWS API-立哥开发
weixin_45806384的博客
06-24 598
#include “util/logging/LogMacros.hpp” #include “util/logging/ConsoleLogSystem.hpp” #include “ConfigCommon.hpp” #include “jobs/Jobs.hpp” #include “JobsSample.hpp” #define LOG_TAG_JOBS “[Sample - Jobs]” namespace awsiotsdk { namespace samples { ResponseCode
AWS大数据三种经典玩法
qq_29061315的博客
05-19 8676
解锁aws大数据的多种玩法
基于AWS和CDH的大数据处理平台企业级架构的研究
阿正的博客
03-29 1068
摘 要 该期刊的目的是研究在企业生产环境下大数据架构的相关技术，包括操作系统配置，Cloudera管理器安装，CDH集群部署和集群参数调优，Kerberos集成，LDAP集成，保护传输中的数据安全和保护静态数据安全.生产环境依赖于AWS云服务。实验内容：CDH集群部署和集群参数调优；企业级身份验证系统kerberos；使用一个轻量级目录访问协议（LDAP）目录管理认证；当启动集群时用TLS/SSL...
大数据实时流处理之AWS最佳实践
happytofly的博客
06-02 2538
随着移动互联网和物联网（IoT）技术的飞速发展，各种移动设备、智能器件 、社交网络和在线游戏等每一秒钟都在产生着大量的半结构化和非结构化数据，其中蕴含的巨大的价值和机会仍有待于我们去发掘。Hadoop平台已经存在十年多，针对于海量数据通过Map/Reduce算法进行批处理也早已飞入寻常百姓家，成为每一个大数据工程师的入门级装备，但是如何更好的让大数据技术产生价值，在大数据特性的3个V：Volume...
AWS使用
weixin_42796403的博客
06-08 335
AWS使用 小总结 近期忙于学习aws相关组件，发现竟然没有总结过，每天需要啥看啥，看完忘完，现在来总结一下。 EMR EMR可以说是大数据的福音，简单点几步就可以搭建起一套大数据集群，还可以随心所欲的扩容，为了节省经费还可以按需启动集群，用完即释放。 但是我们不给秘钥对甚至连集群都登录不了，只能纯手工操作。 下面上我所积累的aws cli命令操作： aws关闭终止保护：aws emr modify-cluster-attributes --cluster-id `j-3KVTXXXXXX7UG` --no
AWS核心服务概览
西代零零发
09-02 9718
1.Amazon Web Service应该可以说，Amazon Web Service目前是云计算领域的领头羊，其业务规模、开发水平和盈利能力在业界内都是首屈一指的。从本科毕业离开学校就一直做Java后端，后来又接触到大型的SOA组件和中间件，现在读研毕业后有幸加入到了AWS开发团队，真是做梦都没想到。在异常复杂的系统、大量资料面前，不敢懈怠，抓住这个学习的好机会学习一下AWS。当然，一来因为刚入
大数据与云计算：洞察未来与绿色转型实践
GFS通过客户端备份管理节点和多个数据节点实现高可用性和可靠性，而像AWS、Azure和Google Cloud等服务商提供了大量的云服务实例。 云计算的绿色化趋势也日益明显，以应对数据中心能耗问题。比如，Google的绿色...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值