python从云端数据库获取数据_用Python抓取亚马逊云（AWS）的日志（CloudTrail）数据...

最新推荐文章于 2023-09-26 14:27:20 发布
最新推荐文章于 2023-09-26 14:27:20 发布
阅读量402 收藏
点赞数
文章标签： python从云端数据库获取数据

如今是云的时代，许多公司都把自己的IT架构部署在基础架构云（IaaS）上。著名的IaaS提供商有亚马逊，微软（Azure），IBM等，国内也有诸如阿里云等。这里亚马逊毫无疑问是该市场的领军者。

AWS提供了非常多的服务，领先了竞争对手一大截。并且AWS提供非常丰富的API，其API基于Rest，所以很容易被不同的语言的平台来调用。

在如今的大数据时代，利用数据在做决策是大数据的核心价值，AWS提供了许多服务来获取其运行数据cloudtrail和cloudwatch是经常被用到的两个。CloudTrail是对AWS的所有API调用的日志，CloudWatch是监控AWS服务的性能数据。（新出的Config服务可用于监控AWS的资源变化）

今天我们来看看如何使用Python（Boto AWS的开源Python SDK）来自动配置ClouTrail的服务并获取日志内容。

我们先来看看CloudTrail的概念和相关的配置。

S3 Bucket

在打开CloudTrail的服务时，需要指定一个相关的S3的Bucket，S3是亚马逊提供的存储服务，你可以把它当作一个基于云的文件系统。CloudTrail的API调用日志，会以压缩文件的形式，存储在你指定的Bucket里。

SNS是亚马逊提供的通知服务，该服务使用的是订阅／发布（Subsrcibe／Publish）的模式。在创建CloudTrail的时候，可以关联一个SNS的Topic（可选），这样做的好处是当有API调用时，可以第一时间得到通知。可以使用不同的客户端来订阅SNS的通知，例如Email，Mobile的Notification Service，SQS等

SQS是亚马逊提供的队列服务，在本文中，我们使用SQS订阅SNS的的内容，这样我们的Python程序就可以从SQS的队列中获取相应的通知。

配置CloudTrail

首先我们需要创建SNS，并指定相应的策略。代码如下：

import boto.sns

import json

key_id='yourawskeyid'

secret_key='yourawssecretkey'

region_name="eu-central-1"

trail_topic_name="topicABC"

sns_policy_sid="snspolicy0001"

sns_conn = boto.sns.connect_to_region(region_name,

aws_access_key_id=key_id,

aws_secret_access_key=secret_key)

sns_topic = sns_conn.create_topic(trail_topic_name)

# Get ARN of SNS topic

sns_arn = sns_topic['CreateTopicResponse']['CreateTopicResult']['TopicArn']

# Add related policy

attrs = sns_conn.get_topic_attributes(sns_arn)

policy = attrs['GetTopicAttributesResponse']['GetTopicAttributesResult']['Attributes']['Policy']

policy_obj = json.loads(policy)

statements = policy_obj['Statement']

default_statement = statements[0]

new_statement = default_statement.copy()

new_statement["Sid"] = sns_policy_sid

new_statement["Action"] = "SNS:Publish"

new_statement["Principal"] = {

"AWS": [

"arn:aws:iam::903692715234:root",

"arn:aws:iam::035351147821:root",

"arn:aws:iam::859597730677:root",

"arn:aws:iam::814480443879:root",

"arn:aws:iam::216624486486:root",

"arn:aws:iam::086441151436:root",

"arn:aws:iam::388731089494:root",

"arn:aws:iam::284668455005:root",

"arn:aws:iam::113285607260:root"

]

}

new_statement.pop("Condition", None)

statements.append(new_statement)

new_policy = json.dumps(policy_obj)

sns_conn.set_topic_attributes(sns_arn,"Policy",new_policy)

CloudTrail是和区域（Region）相关的，不同的Region有不同的CloudTrail服务，所以，在创建对应的SNS时，需要保证使用同一个Region。

这里要注意的是我们创建了新的policy来使得CloudTrail拥有向我们创建的SNS发布消息（Action＝“SNS：Publish”）的权限。我们的做法是从缺省的策略中拷贝了一份，修改了相应的Action和Sid（随便取一个不重复的名字），Principal部分是一个缺省的account的列表，这里是硬编码，AWS有可能会修改该列表的值，但在当前环境下，该值是固定的。最后移除Condition的值。把新创建的Policy片段添加到原来的Policy中就好了。

然后我们需要创建一个SQS的队列，并订阅我们创建的SNS的Topic。这一步相对比较简单。

import boto.sqs

sqs_queue_name="sqs_queue"

sqs_conn = boto.sqs.connect_to_region(region_name,

aws_access_key_id=key_id,

aws_secret_access_key=secret_key)

sqs_queue = sqs_conn.create_queue(sqs_queue_name)

sns_conn.subscribe_sqs_queue(sns_arn, sqs_queue)

然后，我们需要创建一个S3的Bucket用来存储CloudTrail产生的日志文件。同样的，需要指定响应的策略以保证CloudTrail能够有权限写入对应的日志文件。

import boto

bucket_name="bucket000"

policy_sid="testpolicy000"

s3_conn = boto.connect_s3(aws_access_key_id=key_id,aws_secret_access_key=secret_key)

bucket = s3_conn.create_bucket(bucket_name)

bucket_policy = '''{

"Version": "2012-10-17",

"Statement": [

{

"Sid": "%Sid%GetPolicy",

"Effect": "Allow",

"Principal": {

"AWS": [

"arn:aws:iam::903692715234:root",

"arn:aws:iam::035351147821:root",

"arn:aws:iam::859597730677:root",

"arn:aws:iam::814480443879:root",

"arn:aws:iam::216624486486:root",

"arn:aws:iam::086441151436:root",

"arn:aws:iam::388731089494:root",

"arn:aws:iam::284668455005:root",

"arn:aws:iam::113285607260:root"

]

},

"Action": "s3:GetBucketAcl",

"Resource": "arn:aws:s3:::%bucket_name%"

},

{

"Sid": "%Sid%PutPolicy",

"Effect": "Allow",

"Principal": {

"AWS": [

"arn:aws:iam::903692715234:root",

"arn:aws:iam::035351147821:root",

"arn:aws:iam::859597730677:root",

"arn:aws:iam::814480443879:root",

"arn:aws:iam::216624486486:root",

"arn:aws:iam::086441151436:root",

"arn:aws:iam::388731089494:root",

"arn:aws:iam::284668455005:root",

"arn:aws:iam::113285607260:root"

]

},

"Action": "s3:PutObject",

"Resource": "arn:aws:s3:::%bucket_name%/*",

"Condition": {

"StringEquals": {

"s3:x-amz-acl": "bucket-owner-full-control"

}

}

}

]

}'''

bucket_policy = bucket_policy.replace("%bucket_name%",bucket_name)

bucket_policy = bucket_policy.replace("%Sid%",policy_sid)

bucket.set_policy(bucket_policy)

这里我们使用一个缺省的Policy文件，替换掉响应的字段就好了。

最后，我们创建CloudTrail的服务：

import boto.cloudtrail

trail_name="Trailabc"

log_prefix="log"

cloudtrail_conn=boto.cloudtrail.connect_to_region(region_name,

aws_access_key_id=key_id,

aws_secret_access_key=secret_key)

##cloudtrail_conn.describe_trails()

cloudtrail_conn.create_trail(trail_name,bucket_name, s3_key_prefix=log_prefix,sns_topic_name=trail_topic_name)

cloudtrail_conn.start_logging(trail_name)

好了，现在CloudTrail已经配置好了，并且关联的SNS也被我们创建的SQS队列订阅，下面我们就可以抓取日志了

获取日志数据

每当有一个API调用，CloudTrail都会把响应的日志文件写入到S3我们创建的Bucket中，同时在我们在创建的SNS的topic中发布一条消息，因为我们使用SQS的队列订阅了该消息，所以我们可以通过读取SQS消息的方式来获得日志数据。

首先连接到SQS的队列，并从中读取消息

import boto.sqs

sqs_queue_name="sqs_queue"

sqs_conn = boto.sqs.connect_to_region(region_name,

aws_access_key_id=key_id,

aws_secret_access_key=secret_key)

sqs_queue = sqs_conn.get_queue（sqs_queue_name）

notifications = sqs_queue.get_messages()

然后我们从消息中获得响应的日志文件在S3中的地址，并利用该地址从S3中获得对应的日志文件

for notification in notifications:

envelope = json.loads(notification.get_body())

message = json.loads(envelope['Message'])

bucket_name = message['s3Bucket']

s3_bucket = s3_conn.get_bucket(bucket_name)

for key in message['s3ObjectKey']:

s3_file = s3_bucket.get_key(key)

with io.BytesIO(s3_file.read()) as bfile:

with gzip.GzipFile(fileobj=bfile) as gz:

logjson = json.loads(gz.read())

logjson就是对应的日记内容的JSON格式。这里有一个例子

{

"Records": [{

"eventVersion": "1.0",

"userIdentity": {

"type": "IAMUser",

"principalId": "EX_PRINCIPAL_ID",

"arn": "arn:aws:iam::123456789012:user/Alice",

"accessKeyId": "EXAMPLE_KEY_ID",

"accountId": "123456789012",

"userName": "Alice"

},

"eventTime": "2014-03-06T21:22:54Z",

"eventSource": "ec2.amazonaws.com",

"eventName": "StartInstances",

"awsRegion": "us-west-2",

"sourceIPAddress": "205.251.233.176",

"userAgent": "ec2-api-tools 1.6.12.2",

"requestParameters": {

"instancesSet": {

"items": [{

"instanceId": "i-ebeaf9e2"

}]

}

},

"responseElements": {

"instancesSet": {

"items": [{

"instanceId": "i-ebeaf9e2",

"currentState": {

"code": 0,

"name": "pending"

},

"previousState": {

"code": 80,

"name": "stopped"

}

}]

}

}

},

... additional entries ...

]

}

你可以使用以上代码来监控所有的cloudtrail的日志，拿到的JSON格式的日志可以放在你的数据库（Mongo不错）中，然后利用你的BI工具做分析。

注意你也可以不创建SNS和SQS，直接扫描bucket的内容，这样做的好处是配置更简单，缺点是实时性比较差，扫面Bucket需要额外的计算，并且需要在本地保存文件扫描的状态，code会更加复杂。

利用CloudTrail的日志，你可以做很多事情，比如看看有没有非法的登陆，各个服务的使用频率，总之，当你有了足够多的数据，你就可以从中发现足够的价值。

weixin_39843093
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Amazon_Website_Scraping_Scrapy:使用Scrapy Python库抓取亚马逊网站和商店
05-14
Amazon_Website_Scraping_Scrapy 使用Scrapy python库抓取亚马逊网站和商店：标题，评分和评论 跑蜘蛛 转到亚马逊/蜘蛛并键入此命令 scrapy crawl amazonbot
apicloud php接口,APICloud 获取服务器数据的两种方法（自己的服务器和APICloud 的云服务器）...
weixin_39928003的博客
03-24 398
一、通过api.ajax异步请求取个人服务器数据apiready = function(){api.ajax({url: 'http://119.29.157.60/api/Shop/getAll', // 自己用PHP写的请求数据库的接口method: 'get',headers:{'Content-Type': 'application/json;charset=utf-8'}}, funct...
Opensea数据采集：穿云API获取有价值信息的最佳实践
TG_punkll的博客
07-04 547
Opensea作为一个重要的NFT市场，提供了丰富的数据和信息。然而，如何高效获取和利用这些数据成为了关键问题。穿云API作为一种高效的数据采集工具，为Opensea数据采集提供了最佳实践。通过穿云API，我们可以快速、准确地获取Opensea的有价值信息，为用户提供数据洞察和决策支持。无论是投资者、艺术品机构还是研究者和学者，都可以借助穿云API实现Opensea数据的高效采集和应用，从而更好地理解和参与这个快速发展的数字艺术市场。
新手AWS S3下载数据集必学入门教程
最新发布
qq_41397220的博客
09-26 3040
如果没弹出来请点击右上角用户的地方 >> Billing Dashboard >> 付款首选项 >> 添加付款方式，把你的信用卡。点击界面上的开始使用 Amazon S3，进行账号的注册（普通账号默认没有登录S3服务，需开启必须登录绑卡）找到访问秘钥这一项 >> 创建访问秘钥 >> 命令行界面(CLI) >> 勾选下方同意创建，点击下一步完成。在搜索框当中输入关键字“s3”,回车进行搜索，显示出来的相关s3的策略，全部选中，下一步即可。左侧工具栏 >> 访问管理 >> 用户，进行点击。
python从云端服务器读数据_云服务器简单实现Python自动运维
weixin_29475449的博客
01-13 990
某次上课无聊，突然想写个图片爬虫玩玩，顺便把爬取的图片做个随机图片API接口(之前说写也一直拖到现在...)；因为部分知识领域只知道其存在，但从没有实战学习过，干脆从头到尾练手一次，于是有了这篇博文，记录一下过程。实现目标：利用云服务器自动后台运行 Python脚本，包含开启自启；脚本实现内容：爬虫自动爬取图片，临时保存到本地，再上传到搜狗图床，自动保存图片上传之后的地址，以Json形式保存到本地...
Python库 | aws_cdk.aws_cloudtrail-0.37.0-py3-none-any.whl
04-20
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：aws_cdk.aws_cloudtrail-0.37.0-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | aws_cdk.aws_cloudtrail-1.20.0-py3-none-any.whl
03-14
python库，解压后可用。 资源全名：aws_cdk.aws_cloudtrail-1.20.0-py3-none-any.whl
Python库 | aws_list_all-0.7.1-py3.7.egg
04-19
资源分类：Python库 所属语言：Python 资源全名：aws_list_all-0.7.1-py3.7.egg 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
深度学习如何读取数据集
qq_43510114的博客
11-03 1997
（一）在使用google云端硬盘时，如果需要读取现有的已经下载的数据集 将文件放置于硬盘文件夹中，根据以下代码读取（如果是csv文件直接data=pd.read_csv('drive/MyDrive/ColabNotebooks/flights.csv')）即可 data_dir='./drive/MyDrive/Colab Notebooks' Trainname=os.path.join(data_dir,'house_sales.ftr') Testname=os.path.join(da...
Python通过云平台接口读取温度湿度传感器的实时监控数据
董付国的Python专栏
10-25 902
开学第一课：一定不要这样问老师Python问题董付国老师Python系列教材推荐与选用参考=============版权声明：由于公众号后台规则问题，本文暂时无法设置原创标记，但仍属原创内容，微信公众号“Python小屋”坚持只发原创技术文章。=============推荐教材：《Python网络程序设计（微课版）》，ISBN：978-7-3025-8312-7，董付国，清华大学出版社，2021年...
Python库 | aws-cdk.aws-cloudwatch-1.7.0.tar.gz
05-12
资源分类：Python库 所属语言：Python 资源全名：aws-cdk.aws-cloudwatch-1.7.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | aws_cdk.aws_cloudwatch-1.36.1-py3-none-any.whl
05-28
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：aws_cdk.aws_cloudwatch-1.36.1-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
cloudwatch-mon-scripts-python, 用于CloudWatch的Linux监视脚本.zip
09-18
cloudwatch-mon-scripts-python, 用于CloudWatch的Linux监视脚本 cloudwatch-mon-scripts-python 用于 AWS CloudWatch服务的Linux监视器脚本。最初，这个项目被创建，因为最初的AWS监控脚本在大约5 个月内缺乏对 eu-central-1 ( 法兰克福
云开发获取数据
ddch1的博客
04-20 1260
const cloud = require('wx-server-sdk') cloud.init() constdb=cloud.database(); // 云函数入口函数 exports.main = async (event, context) => { var num=event.num; var page=event.page; return await db.collection("demolist").skip(page).limit(num).get() } .
AWS api查询账单
山炮运维
01-24 3430
作为运维要经常关注公司账户消耗情况，账户多了看账单的时间都需要优化，搞个脚本定期推送AWS账单，后续在搞监控，AWS就是api不太好找 #!/usr/bin/env python3 # coding=utf-8 #AWS API参考：https://docs.aws.amazon.com/aws-cost-management/latest/APIReference/API_GetCostAndUsage.html import boto3 #账户的访问密钥 aws_access_key_id = ''
Java爬虫：大量抓取二手房信息并存入云端数据库过程详解（三）
weixin_42509364的博客
12-21 456
bsu
aws python sns_手把手教你用Python抓取AWS的日志(CloudTrail)数据
weixin_39938331的博客
12-03 247
原标题：手把手教你用Python抓取AWS的日志(CloudTrail)数据 作者： Gang TAO大数据时代，利用数据做决策是大数据的核心价值。本文手把手，教你使用python进行AWS的CloudTrail配置，进行日志抓取。进行数据分析，发现数据价值!如今是云的时代，许多公司都把自己的IT架构部署在基础架构云(IaaS)上。著名的IaaS提供商有亚马逊，微软(Azure)，IBM等，国内也...
用Python抓取亚马逊云（AWS）的日志（CloudTrail）数据
weixin_34259559的博客
04-20 320
2019独角兽企业重金招聘Python工程师标准>>> ...
aws python库_使用Python和AWS进行Web爬取| 节能应用程序第1部分
weixin_26752759的博客
09-16 321
aws python库 使用Python和AWS进行Web爬取| 节能应用程序第1部分 (Web Scraping with Python and AWS | Energy Saving App Part 1) 在AWS上构建应用程序以帮助节省能源费用和环境 (Building an app on AWS to help save energy bills and the environment...
python可以连接云端数据库吗
04-01
是的，Python可以连接云端数据库。Python中有很多数据库连接模块，如MySQLdb、pymysql、psycopg2等，它们都支持连接云端数据库。常见的云端数据库有阿里云RDS、AWS RDS、Google Cloud SQL等。连接云端数据库需要提供数据库的连接信息，如主机名、端口号、用户名、密码等。在连接时需要确保网络连接正常，且数据库服务正常运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值