BAStriver的博客

1.时间戳转成日期select distinct from_unixtime(1441565203,'yyyy/MM/dd HH:mm:ss') from test_date; 2.日期转成时间戳select distinct unix_timestamp('20111207 13:01:03') from test_date; // 默认格式为“yyyy-MM-dd HH:mm...

1.首先，很多时我们需要在Hive中去重数据：（语法和Oracle中的去重很类似，子查询更名为 t 这个不能省略）select ID, CASE_ID_from ( SELECT ID, CASE_ID_ , row_number() OVER(PARTITION BY CASE_ID_ ) as row_flg FROM table)t where t.row_fl...

1.有时候为了更方便地根据某个时间字段来进行增量更新数据，我们可以使用分区。而相对来说，这种时候用动态分区会多一些。2.首先，先进入Hive命令行，输入一下的设置，打开动态分区功能：set hive.exec.dynamic.partition =true; -- 表示开启动态分区功能set hive.exec.dynamic.partition.mode = nonstrict;...

1.首先，在我看来，基本上根据数据的流向自底向上划分五层，跟传统的数据仓库其实很类似，数据类的系统，概念上还是相通的，分别为五个：数据采集层、数据处理层、数据分析层、数据访问层及应用层。2.数据采集层：由于数据源的多样性，很多时候我们采集的工具可能不止一个。大数据平台架构跟传统数据仓库有一个不同，就是同一层次，为了满足不同的场景，会采用更多的技术组件，体现百花齐放的特点。既包括传统的ETL离线...