坚持，让梦想闪耀！

排序：
默认
按更新时间
按访问量
RSS订阅

原 HIve 在指定位置添加字段

分两步，先添加字段到最后（add columns），然后再移动到指定位置（change） alter table table_name add columns (c_time string comment '当前时间'); -- 正确，添加在最后 alter table table_name ...

2019-05-12 19:31:28

阅读数 21

评论数 0

原 Hive内部表 外部表 区别

以下基于Hive 2.0.0-SNAPSHOT，本人亲自实验的结论！！ 1 添加字段、从本地load多个分区到目标表中，目标表的表结构、分区信息会同时发生变化，与是否是外部表内部表无关，也与是否指定location无关！不需修改分区信息那些操作也会变化。 2 drop表时，如果是指定loc...

2019-05-11 16:21:47

阅读数 32

评论数 0

原 《effective java》66：同步访问共享的可变数据

1 public class ConcurrentAccessShareVariable66 { private static boolean stopFlag; public static void main(String[] args) throws Interrupted...

2019-05-09 21:26:35

阅读数 18

评论数 0

原 hive 列转行

方法1：（不报错，达不到效果） select count(*) as new_count1 from sales_info where dt='2019-04-26' union all select count(*) as new_count2 from sales_info where...

2019-05-09 20:36:14

阅读数 13

评论数 0

原 第68条：executor和task优先于线程

为啥呢？ 新创建的线程缺少有效的管理，可重用性差，线程过多会造成线程切换上的额外开销

2019-05-08 21:10:42

阅读数 22

评论数 0

原 java往hive 的map类型字段写数据

该表的该字段类型是map<string,string> 对应类的该属性的类型需要定义成String，不可定义成Map<String,String> ！！ 方法1: 建表语句定义map的分隔符： row format delimited...

2019-05-06 21:36:11

阅读数 19

评论数 0

转 《effective java》68:executor和task优先于线程

java.util.concurrent 包里有一个Executor 框架 基于接口的任务执行工具 只需要一行代码 提交一个runnable 方法 优雅的终止（必须做到，不然虚拟机可能不会退出） 对于负载不重的服务 Executors.newCachedThrea...

2019-04-28 20:43:00

阅读数 53

评论数 0

原 Hive lateral view 注意事项

1 如果指定字段名则需要把lateral view查询出的列写到select中，才能在结果中出现；如果直接是select * 则自动会把lateral view查询出的列追加在后面。 2where 条件要写在lateral view 后面，不然报错 详见： Hive lateral view...

2019-04-28 20:40:46

阅读数 42

评论数 0

原 Hive lateral view ,get_json_object,json_tuple 用法

【Hive】解析json（get_json_object）https://blog.csdn.net/qq_34105362/article/details/80454697 lateral view：如果指定字段名则需要把lateral view查询出的列写到select中，才能在结果中出现；...

2019-04-28 20:39:57

阅读数 56

评论数 0

原 Hive explode lateral view 用法

类似于SqlServer的游标，把字段的内容转换成行显示。 lateral view UDTF(expression)tableAliasName as colAliasName 其中UDTF(expression)表示表生成函数说白了就是行转列的函数，即一行变为多行的函数，比如explode...

2019-04-28 20:39:30

阅读数 44

评论数 0

原 Hive 导入array,map，要定义好分隔符，不用带双引号，

建表语句：指定array元素分隔符，map keys分隔符很重要！！ create table sales_info_new( sku_id string comment '商品id', sku_name string comment '商品名称', state_map map<...

2019-04-28 20:39:04

阅读数 56

评论数 0

原 Hive ,At least 1 group must only depend on input columns. Also check for circular dependencies.

使用rank()排序报错: 2019-04-28 09:35:08,100 FAILED: SemanticException Failed to breakup Windowing invocations into Groups. At least 1 group must only depe...

2019-04-28 11:47:01

阅读数 79

评论数 0

原 Hive,分组后前几，Top N，记录

select * from sales_info where dt = '2019-04-26'; 查询每个分类下，GMV（销售额）前三的商品明细： select a.* FROM ( select sku_id,sku_name,category_id3,sales_co...

2019-04-28 11:44:10

阅读数 25

评论数 0

原 Hive ,开窗函数，sum,row_number,dense_rank,percent_rank

1 排序：row_number(),dense_rank() select sku_id,sku_name,category_id3,sales_count,price, sales_count*price as s1, dense_rank() over(partition by cat...

2019-04-28 11:40:29

阅读数 26

评论数 0

原 hive order by 聚合函数 别名

建表语句： CREATE TABLE `sales_info`( `sku_id` string COMMENT '商品id', `sku_name` string COMMENT '商品名称', `category_id3` string COMMENT '三级分类id', `pric...

2019-04-27 20:00:39

阅读数 62

评论数 0

转 Hive四种数据导入方式

总结为四种： 从本地文件系统中导入数据到Hive表； 从HDFS上导入数据到Hive表； 从别的表中查询出相应的数据并导入到Hive表中； 在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 我会对每一种数据的导入进行实际的操作，因为纯粹的文字让人看起来很枯燥，而且学起来也...

2019-04-27 19:24:39

阅读数 54

评论数 0

原 hive 新建表，写入查询结果

hive> create table sales_info_new_new > as > select sku_id,sku_name,category_id3,price,sales_count,dt > from sales_...

2019-04-27 19:16:29

阅读数 30

评论数 0

原 hive,查询后写入表中

hive> insert overwrite table sales_info_new partition(dt='2019-04-26') > select sku_id,sku_name,category_id3,price,sales_count &...

2019-04-27 19:00:51

阅读数 155

评论数 0

原 hive ,从hdfs把数据文件load导入到表

hive> load data inpath 'hdfs://ns1/abc/sales_info/hello/sales_info.txt' overwrite into table sales_info partition(dt = '2019-04-26'); 原数据文件（已...

2019-04-27 18:48:21

阅读数 65

评论数 0

原 hive把本地的数据文件load导入到表

以下实例都是从本地导入： hive> load data local inpath 'sales_info.txt' overwrite into table sales_info partition(dt='2019-04-26'); 导入后本地的原数据文件依然存在，相当于复制...

2019-04-27 18:18:48

阅读数 28

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭