数据清洗
小羊羊成长之路
迟来的博客,但也不算太晚
展开
-
Shell脚本之sed清洗数据
数据 此次数据是用来导入HIVE表中,但是由于数据不规范,需要做清洗, 下面的数据不仅有空出一行,并且每个需要录入的字段都有空格。 | 1 | 2 | 2016-06-03 | | 1 | 3 | 2016-06-08 | | 2 | 3 | 2016-06-08 | | 3 | 4 | 2016-06-09 | 清洗方法 此次咱用shell的sed方法来做清洗,代码如下: #!/bin/...原创 2019-10-25 18:49:45 · 669 阅读 · 0 评论 -
Hive解析Json格式用户日志
清洗json格式数据Json数据HIVE清洗第一种方式第二种方式string类型的数组形式的列转行拆分 Json数据 第一次写博客,mark一下 ——20191025 下面是一条json数据,导入hive中类型为string { "user_id": "u0001", "view_params": "order_condition=03&order_type=1&key=华为手...原创 2019-10-25 18:05:16 · 3143 阅读 · 0 评论