我有一个上游应用程序正在向一个SNS主题发送以下JSON消息。我们使用AWS lambda函数将这个JSON对象保存在S3中:{
"processResult": {
"processName": "XYZ",
"stageResults": {
"Read Files": {
"status": "PROCESSED",
"error": "",
"timeTaken": 26064469473
},
"Convert Files": {
"status": "PROCESSED",
"error": "",
"timeTaken": 97968896
}
},
"processMetrics": {
"filesProcessed": 1157,
"filesWithExceptionCount": 1,
"timeTaken": "367.460031s",
"metricsCalcTime": "6.061847s",
"totalTimeTaken": "373.521878s"
},
"succeeded": true
}
}
如果您在“stageResults”结构中观察到,我有带空格的属性,比如“Read Files”和“Convert Files”,当我试图使用AWS Athena(AWS Glue Crawler)从S3读取这个JSON时,我得到以下错误:
^{pr2}$
但是当我通过修改“stageResults”结构(如“Read_Files”和“Convert_Files”)手动编辑JSON消息时,我能够成功地使用AWS Athena表读取和查询JSON。在
下面是AWS Lambda的一段代码,它触发SNS主题,读取JSON消息并保存在S3中:import json
import boto3
import random
import string
file_name = ''.join([random.choice(string.ascii_lowercase) for i in range(16)])
def lambda_handler(event, context):
target_bucket = 'bucket-name'
target_key = 'input=clientdata/' + file_name + '.json'
s3 = boto3.resource('s3')
for record in event['Records']:
payload = record["body"]
data = json.loads(payload)
print(data)
print("copying JSON message...")
s3.Object('target_bucket', 'target_key').put(
Body=(bytes(json.dumps(data).encode('UTF-8')))
)
现在,我想知道如何在使用AWS Lambda将JSON消息保存到S3之前修改它。感谢任何帮助。在