数据清洗小记(9):分类进行字符串转日期(某日期字段存在多类格式处理)

原创作品,出自 “深蓝的blog” 博客,欢迎转载,转载时请务必注明出处,否则有权追究版权法律责任。

深蓝的blog:http://blog.csdn.net/huangyanlong/article/details/46513855

 

【背景】

在清洗数据时,发现源端系统某时间类字段下的数据存在三类格式,怀疑这是源端接受自三个或更多系统的来源数据格式不统一造成的。之所以出现这种情况,因为源端该时间类字段竟然用的varchar2格式,可能源端系统在接受不同系统上传数据时没做规范造成的。需要把该字段下的数据按分类进行处理、清洗。

 

【解决】

我们可以利用case函数,对不同类型的数据进行分类处理,例如:

select 
CASE WHEN 条件1 THEN
    处理方式1
WHEN 条件2 THEN
    处理方式2
ELSE
    处理方式3
END 命名 from 源端表;

【实验】

创建实验表,如下:

create table 实验表 
(ID varchar2(32) default sys_guid(),
DATE_TIME varchar2(50),
MEMO varchar2(32)
);

插入实验数据,模拟出三类时间格式类型,如下:

insert into 实验表 (DATE_TIME,MEMO) values('2017-08-11 23.0:18.0:30.0','1');
insert into 实验表 (DATE_TIME,MEMO) values('2015-05-27 12.0:24.0:20.0','1');
insert into 实验表 (DATE_TIME,MEMO) values('20140409 11:00:12 PM','2');
insert into 实验表 (DATE_TIME,MEMO) values('20120401 10:10:00 AM','2');
insert into 实验表 (DATE_TIME,MEMO) values('2013 02 08 08:12:23:000 PM','3');
insert into 实验表 (DATE_TIME,MEMO) values('2015 01 31 09:00:00:000 PM','3');
commit;
select * from 实验表;

创建目标表,如下:

create table 目标表
(ID VARCHAR2(32),
RESULT_TIME DATE,
LEVEL_NUMBER VARCHAR2(32)
);</
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Protobuf是一种高效的序列化协议,可以用于数据交换和数据存储。它的主要优势是大小小,速度快,可扩展性强。下面是使用Protobuf的一些小记: 1. 定义消息格式 首先,需要定义消息格式,以便Protobuf可以将数据序列化和反序列化。消息格式定义在.proto文件中,使用protobuf语言编写。例如,下面是一个简单的消息格式定义: ``` syntax = "proto3"; message Person { string name = 1; int32 age = 2; } ``` 这个消息格式定义了一个名为Person的消息,包含两个字段:name和age。 2. 生成代码 一旦消息格式定义好,就可以使用Protobuf编译器生成代码。编译器将根据消息格式定义生成相应的代码,包括消息类、序列化和反序列化方法等。可以使用以下命令生成代码: ``` protoc --java_out=. message.proto ``` 这将生成一个名为message.pb.java的Java类,该类包含Person消息的定义以及相关方法。 3. 序列化和反序列化 一旦生成了代码,就可以使用Protobuf序列化和反序列化数据。例如,下面是一个示例代码,将一个Person对象序列化为字节数组,并将其反序列化为另一个Person对象: ``` Person person = Person.newBuilder() .setName("Alice") .setAge(25) .build(); byte[] bytes = person.toByteArray(); Person deserializedPerson = Person.parseFrom(bytes); ``` 这个示例代码创建了一个Person对象,将其序列化为字节数组,然后将其反序列化为另一个Person对象。在这个过程中,Protobuf使用生成的代码执行序列化和反序列化操作。 以上是使用Protobuf的一些基本步骤和注意事项,希望对你有所帮助!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值