kettle的简单清洗

记一次kettle的简单清洗目
目的和Hive教程_(2019版)_一样的,


前言

表结构:

提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。
目的:
1.里面有没有空值,有空值需要去除
2.将视频类别列需要将" & “变成”&"
3.将相关视频ID用&连接放在一个列中

在这里插入图片描述


提示:以下是本篇文章正文内容,下面案例可供参考

一、pandas是什么?

示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。

二、使用步骤

1.转换的步骤

在这里插入图片描述

2.文件输入

代码如下(示例):
在这里插入图片描述

3.过滤记录

在这里插入图片描述

4.将多列合并成一行(concat)

在这里插入图片描述

5.使用Java脚本

1.去除视频类别列中的空格
2.去除相关视频ID连接后留下的&
原始的数据在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


总结

1.最后搞定了,代码是万能的,增加写代码的能力,
2.在写Java代码时,在IDEA上没有报错,但是在kettle上可能会报错,可能是没有异常处理

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值