hive
weijian001
这个作者很懒,什么都没留下…
展开
-
Hive 实现将时间(时间戳)归到某时间片
在进行数据处理或者建模的时候我们常常需要将某一时间段内的时间统一归于到某一时刻,来表征他们同属于这一时间段。比如2017-12-19 13:23:30,我们按照10min作为一个时间段向前划分,这个时间会被划分到2017-12-19 13:20:00,如果按照30min作为一个时间段,这个时间会被划分到2017-12-19 13:00:00。其他时间段长度可以依次类推。如果使用python,scal原创 2017-12-19 17:55:40 · 7853 阅读 · 2 评论 -
Hive中日期与时间戳的转换
hive中日期与时间戳的转换原创 2017-12-13 19:32:03 · 19489 阅读 · 0 评论 -
Hive当中实现pivot操作
0.背景实际工作当中遇到这样一个问题,数据如下,但是我想通过SQL将数据转换成按列展示的形式,即常用的pivot透视操作。# 原始数据id item value1 a 10 2 b 211 b 152 a 20# 次级目标格式(SQL)id itemValue1 a-10,b-152 a-20,b-21# 目标格式id it...原创 2018-08-31 13:38:05 · 13525 阅读 · 3 评论 -
Pandas reshape相关函数介绍(pivot,pivot_table,stack,unstack,melt)
0.背景在Pandas的使用中,常常需要到行列切换的情况,即所谓的数据透视表,这里根据Pandas当中的此类专题进行总结,主要解析pivot,melt,stack,unstack几个函数的使用。**1.pivot(一定要看下pivot_table)pivot做的就是从源数据构造透视表的过程,透视表是在数据统计中一个数据汇总的方式。pivot使用例子如下所示。import pan...原创 2018-08-31 20:11:50 · 11193 阅读 · 3 评论 -
Hive中行拆分操作
0.背景在使用Hive的时候有时候会遇到需要将一行“拆分”成多行的操作,如下。原始数据格式,表名为student_tableclass student_array1 [Tom,Jone]2 [Lily,lucy]目标数据格式class student_name1 Tom1 Jone2 Lily2 ...原创 2018-09-20 15:02:25 · 1795 阅读 · 0 评论