aws上如何用无服务器模板构建athena-MongoDB连接器

最新推荐文章于 2024-09-16 17:48:02 发布
最新推荐文章于 2024-09-16 17:48:02 发布
阅读量172 收藏
点赞数
分类专栏： aws 文章标签： mongodb aws
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linuxwanglin/article/details/120151743
版权

aws上如何用无服务器模板构建athena-MongoDB连接器


1、先在Serverless Application Repository中，选择“可用应用程序”，然后找到“AthenaDocumentDBConnector”，然后在“应用程序设置”中设置相关内容。 “SecretNameOrPrefix”应该用不到，连接地址为：“mongodb://账号：密码@MongoDB地址:27017/”
其他的参数根据自己的需要填写
2、然后点击“部署”，部署后，该无服务器创建了一个lambda函数
3、在Athena的控制台，点击”Connect data source” ，然后选择“Query a data source”，然后创建一个catalog name。
4、连接完成

sggnb
关注
专栏目录
Glue Connector 和 Connection 的关系与区别
Laurence的技术博客
02-21 683
AWS Glue作为一种无服务器产品，其运行环境是“不可预知”的，也就是“一个黑盒”，所以如何能连接一些自有数据源是Glue必须考虑并给予满足的，为此，Glue给出的解决方案就是Connector和Connection，一个connector就是一个用于协助访问数据源的程序包(容器镜像或Jar包），如果你要使用一个connector，必须先创建一个针对该connector的connection。一个connection包含了连接一个特定数据源的属性。connector和connections联合起来为目标数
AWS Athena 的 MATLAB 接口：AWS Athena 的 MATLAB 接口-matlab开发
05-31
Amazon Web Services Athena:trade_mark: 服务的 MATLAB:registered: 接口。 Amazon Athena 是一种交互式查询服务，可以使用标准 SQL 轻松分析 Amazon S3 中的数据。 Athena 是无服务器的，因此无需管理基础架构，您只需为运行的查询付费。 这个包提供了一个从 MATLAB 内部访问 Athena 功能子集的基本接口。 请注意，您还需要使用包https://github.com/mathworks-ref-arch/matlab-aws-common才能使用此包。 或者，您可以通过运行安装我们所有的 AWS 支持包 git clone --recursive https://github.com/mathworks-ref-arch/mathworks-aws-support.git
（三）云MongoDB-1：Install MongoDB in AWS EC2 Linux
Username1898625
02-06 411
适合第一次简单配置。
在AWS EC2安裝MongoDB Server
codingbobo的博客
07-07 389
啟動新實例: AWS EC2 Ubuntu 點選Launch Instance 選擇AMI (Ubuntu 18.04) 選擇Instance type後，接續步驟按自行需求調整 點選add rule，==新增自定義TCP: PORT Range: 27017(MongoDB使用), Source: (Custom) 0.0.0.0/0 (此為IPV4) (若用::/0 為IPV6)。==點選Review & Launch 完成實例的新增。     Instance相關設定 點選
aws athena 建hive表命令不对，向表中插入数据时引发错误
finalcj的博客
03-10 2099
EMR集群，向hive表中插入数据时，引发错误：org.apache.spark.sql.AnalysisException: Can not create a Path from an empty string 网上搜索不到解决方案，最终偶然发现了问题所在，记录如下： 这是有问题的表，导出DDL是如下的： 实际我的建表命了，并没有指定任何参数，上面看到的参数是默认产生的： CREATE EXTERNAL TABLE `dwt_ob_video_all_user` ( .
Athena:使用Node.js，Express.js和MongoDB的Blog应用程序
05-24
雅典娜 使用Node.js，Express.js和MongoDB的Blog应用程序
AWS SAP-C02教程3--网络资源
代码还是得自己扣
10-12 1858
AWS SAP-C02教程中的网络资源
AWS SAP-C02教程2--存储资源
代码还是得自己扣
10-11 1618
AWS的存储资源介绍
Amazon Kinesis Data Firehose调研
StormWangxhu的博客
03-16 866
Amazon Kinesis Data Firehose调研 简介 Amazon Kinesis 可让您轻松收集、处理和分析实时流数据，以便您及时获得见解并对新信息快速做出响应。 Amazon Kinesis 提供多种核心功能，可以经济高效地处理任意规模的流数据，同时具有很高的灵活性，让您可以选择最符合应用程序需求的工具。 借助 Amazon Kinesis，您可以获取视频、音频、应用程序日志和网站点击流等实时数据，也可以获取用于机器学习、分析和其他应用程序的 IoT 遥测数据。借助 Amazon Kine
"基于区块链的智能城市交通网络——B-DRIVE研究与应用
该网络旨在将安装在各种车辆和路边基础设施上的大量物联网设备连接到称为全节点的分布式数据存储中心，以记录和传播传感器生成的数据。 它将来自城市各地的设备连接到多个全节点，将带有时间戳的数据记录到区块链中...
栋的月结 | 第二回合（定期更新、动态、架构、云技术、算法、后端、前端、收听/收看、英文、书籍、影视、好歌、新奇）[含泪总结.. 憋泪分享！]
纽雪澳诺加海美德的博客
03-28 5544
开篇词 大家好！以下是我在 2020 年 2 月 1 日至 29 日的所见、所闻、所学和所悟。 现在，我把它们安利给你们。   定期更新 原创专栏： 一文搞定 Linux 管理员手册：既简单又深刻 官方授权： Baeldung Java 周评 符合官方许可： Spring 官方指南   动态 在我的《一文搞定》系列专栏里新增了： 《xxxx》 从我的英...
BigData导论
xidiancyp的博客
05-20 673
大数据导论
aws之athena使用
weixin_43843414的博客
12-26 3410
有两种方式第一种通过调用boto3使用，第二种pyathenajdbc使用，相对而言两种方式各有优劣。 第一种 import boto3 import pandas as pd import io import time athena = boto3.client('athena', region_name='ap-southeast-1') s3 = boto3.client('s3') def...
如何通过Python来使用AWS Athena服务
Quinnwei的博客
04-03 2483
什么是Amazon Athena Amazon Athena是一个交互式查询服务，可以直接在Amazon Simple Storage Service (Amazon S3)中使用SQL进行数据分析。这个工具可以通过AWS管理控制台，以及ODBC驱动或API访问。如果你在S3中存储了海量数据，而且你有SQL技能，直接使用Athena来快速分析海量数据集是非常理想的选择。 Athena的好处 轻松...
AWS Lambda快速上手 - 连接并且写入DynamoDB
shenghuiping2001的专栏
01-16 727
AWS 中的lambda 是一个很重要的概念，先看一下图： 1：开始先创建一个table: shp, 注意，不要用默认值，因为它默认设置了下列参数为：capacity unit : 5， 成本比较高，我们设置为1 就可以了： 2: 下面创建一个function: 名称为： lambda-DynamoDB-write-test: (注意，这个default setting 里面有role 的设定，这个role 有要对DynamoDB 的write, read, access 权限)： ...
AWS mongodb部署（官方推荐实现）
Andy Tools
04-16 5112
前排提示1 这不是自己手动在EC2上建一个mongodb，而是调用AWS 服务生成。 2 因为涉及到要使用新的EC2 所以本文并没有实现，仅为记录学习的过程1 背景AWS 提供nosql数据库是 DynamoDB，所以原来操作mongodb方式就不再适用，必须要使用AWS SDK 进行重写编写相关代码。（ali和tencent均提供mongodb) 在这样的背景下，在AWS体系内寻找一种官方推荐
MongoDB 原子操作
wjs2024的博客
09-12 860
原子操作是指一个操作在执行过程中不会被中断，要么完全执行，要么完全不执行。在数据库管理中，原子性是 ACID（原子性、一致性、隔离性、持久性）属性之一，确保了数据库事务的完整性和可靠性。在 MongoDB 中，原子操作通常涉及到文档的更新、插入和删除。由于 MongoDB 的文档模型支持灵活的数据结构，原子操作在保证数据一致性的同时，也提供了高效的性能。
mongoDB-1
最新发布
qq_30118563的博客
09-16 190
2.x开始用，现在应该6.x了吧，早期四处鼓吹，为公司打造全mongo服务，为并发几千做了优化，原本打算替代MySQL，随着不停使用，发现，老版在centos环境下很稳定，换了底层后，就没那么稳定了，在非centos下极其不稳定，集群节点容易死，死了查询服务虽然不停，但是写入因为索引服务挂了，就不能写入，而且节点死了还不容易发现，缺少个集成管理平台，节点死了还再起不能，需要清除节点数据再重新同步。反正就是运维起来很麻烦。mongo console，运维工具。现在改用tidb了，一切静好起来。
AWS上的无服务器架构实战
这本书深入探讨了如何在亚马逊网络服务（AWS）平台上构建无服务器架构。无服务器架构是一种新兴的云计算模式，它允许开发人员构建和运行应用程序而无需管理底层基础设施。 无服务器并不意味着服务器不存在，而是指...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值