大数据学习之路36-hive的自定义函数示例，复杂数据解析

假如说我们有这样的数据：

1,zhangsan:18:beijing|male|it,2000
2,lisi:28:beijing|female|finance,4000
3,wangwu:38:shanghai|male|project,20000

假如这些数据由某个应用系统产生在hdfs的如下目录中：/log/data/2018-08-21/

需要放进hive中去做数据挖掘分析

可以先建一张外部表，跟原始数据所在的目录关联；

create external table t_user_info(id int,user_info string,salary int)
row format delimited
fields terminated by ','
location '/log/data/2018-08-21';

原来的数据不方便做细粒度的分析挖掘，所以字段需要拆分，用hive的自带的函数不方便

所以我们需要自定义一个函数来实现拆解功能。

这样的数据是很难分析的，所以我们就希望使用下面这样的函数：

select
id,my_func(info,1) as name,my_func(info,2) as age,my_func(info,3) as addr,
my_func(info