本文介绍了从OSS（对象存储服务）读取用户日志文件，通过二进制格式处理，然后利用ODPS（开放数据处理服务）进行数据清洗和存储的过程。在数据处理中，涉及了字段分隔符设置、空值处理、编码格式选择等关键步骤，最终将数据写入MQData表。这是一个关于大数据处理和云存储的实战案例。
{
"type": "job",
"steps": [
{
"stepType": "oss",
"parameter": {
"fieldDelimiterOrigin": "^",
"nullFormat": "",
"compress": "",
"datasource": "OSS_userlog",
"column": [
{
"name": 0,
"type": "string",
"index": 0
}
],
"skipHeader": "false",
"encoding": "UTF-8",
"fieldDelimiter": "^",
"fileFormat": "binary",
"object": [
"applog.txt"
]
},
"name": "Reader",
"category": "reader"
},
{
"stepType": "odps",
"parameter": {
"partition": "",
"isCompress": false,
"truncate": true,
"datasource": "odps_first",
"column": [
"mqdata"
],
"emptyAsNull": false,
"table": "mqdata"
},
"name": "Writer",
"category": "writer"
}
],
"version": "2.0",
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record": ""
},
"speed": {
"concurrent": 2,
"throttle": false,
}
}
}
扫一扫
365
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
