maxcompute使用篇

搬砖人_li

已于 2024-09-17 22:40:23 修改

阅读量351

点赞数 10

文章标签： odps 大数据数据仓库

于 2024-09-17 21:19:41 首次发布

本文链接：https://blog.csdn.net/m0_63593025/article/details/142319082

版权

文章目录

maxcompute使用篇

maxcompute使用篇

1.mongoDB与maxcompute 进行数据同步

1.1 基本类型的数据

基本数据类型会根据同步任务配置的读取字段中的name自动读取对应path下的数据，并根据数据类型做自动转换，您无需指定column的type属性，如下图_id，uuid，key_name等普通类型可以根据配置的类型属性进行自动转换

1.2部分复杂类型的数据

需要通过配置column的type属性，进行自定义处理，如shop_list以key_info字段

注意：

1.在mongoDB和maxcompute进行数据同步时，如果mongoDB某个字段(如：key_info) 数据类型为Document，在mongoDB侧没有配置对应的Document类型的话，则直接将Document转 JSON 序列化处理

2.如果mongoDB某个字段(如：shop_list) 数据类型为Array，在mongoDB侧没有配置对应的Array类型的话，则会将Array转成Document类型数据，无法进行处理

3.有关MongoDB Reader支持的MongoDB数据类型详情，请查看该链接：https://help.aliyun.com/zh/dataworks/user-guide/mongodb-data-source?spm=a1z3jh.13523495.0.0.27af6242XNV15M

Array数据类型：

Document数据类型:

maxcompute侧配置：

2.maxcompute中复杂数据类型解析

2.1 get_json_object

概述：从 JSON 字符串中提取特定字段值的函数，接受一个 JSON 字符串和一个路径表达式作为参数，返回一个字符串类型的值，表示指定路径的 JSON 字段值。如果路径不存在，返回NULL
语法 : get_json_object(json_column, ‘$.name’)
注意：一次只能解析一个json字段，可以嵌套解析多层json

2.2 json_tuple

概述：通过列名来指定要提取的字段，相对来说更加直观。在同时提取多个字段时，代码的可读性更好。如果路径不存在，返回NULL
语法 : json_tuple(json_data, ‘name’, ‘age’)
注意：

1.每次能够同时解析多个字段，不能解析嵌套的json，如果需要解析嵌套的，那么只能一层层解析

2.json_tuple如果需要给解析的多个json字段起别名，需要结合侧视图一起使用

2.3 处理json几种失效的情况:

（1）json格式不对，输入的字符串根本不是有效的 JSON 格式。例如，字符串存在语法错误、缺失关键的括号或引号等。
（2）提供的路径表达式错误。路径表达式用于指定要从 JSON 中提取的部分，如果表达式不正确，无法准确定位到目标数据。
（3）数据类型不匹配。例如，期望提取的是一个字符串，但实际是一个数字或对象。
（4）嵌套层次过深。如果 JSON 数据的嵌套层次非常复杂，可能超出了 get_json_object 函数的处理能力或导致性能问题。
（5）处理超大的 JSON 数据。当 JSON 数据过大，可能会导致内存不足或处理超时的情况。

2.4 STR_TO_MAP、MAP_KEYS

STR_TO_MAP：
- 概述：用于将一个字符串转换为映射（map）类型
- 语法：STR_TO_MAP(map_string_column, ‘,’, ‘:’) ，分隔键值对的分隔符是'，'，分隔键和值的分隔符是':'
MAP_KEYS
- 概述：获取映射（map）类型数据的所有键组成的数组
- 语法：MAP_KEYS(map_column)
补充：结构体(struct)和映射(map)之间的区别
- STRUCT<name:STRING, age:INT, grade:STRING>
- MAP<STRING,STRING>

2.5 regexp_replace

概述：用于使用正则表达式进行字符串替换
语法 : regexp_replace(string, pattern, replacement)
- string：要进行替换操作的原始字符串。
- pattern：正则表达式模式，用于匹配要被替换的部分。
- replacement：用于替换匹配部分的新字符串

2.6 FROM_JSON

概述：用于将 JSON 字符串解析为特定数据结构（如结构体、数组等）的函数，常与炸裂函数一起使用
语法 : from_json(list_ids,‘array’)
- array ：转换的数据类型
- STRING : 数组里面的数据类型

2.7 nvl

概述：nvl函数用于处理空值(注意：在maxcompute中没有ifnull函数)
语法 : nvl(expr1, expr2)
- expr1：要检查是否为 NULL 的表达式。
- expr2：如果expr1为 NULL，则返回这个表达式的值
注意事项
- nvl函数只能处理一个空值情况，如果需要处理多个不同类型的空值，可以结合其他函数或逻辑来实现
- 确保替换值的类型与要处理的列的类型兼容，否则可能会导致类型转换错误

2.8 trim

概述：用于去除字符串两端的特定字符
语法 : trim([leading|trailing|both] [characters] FROM string)
- leading：表示去除字符串开头的字符，默认是去除两端的字符。
- trailing：表示去除字符串末尾的字符
- both：表示去除字符串两端的字符，这是默认行为
- characters：要去除的字符集，如果不指定，则默认去除空格
- string：要进行处理的字符串
- trim(string)：默认去除字符串两端的空格