hive
文章平均质量分 81
WJWFighting
AR测试
展开
-
hive 建表 分区语句(仅供参考)
create table test_01( name string, friends array<string>, children map<string,int>, address struct<street:string,city:string>)...原创 2018-08-14 16:03:15 · 6250 阅读 · 0 评论 -
hive 学习笔记(二)分桶操作
create table dept01 (deptno int , dname string,loc string)row format delimited fields terminated by '\t';load data local inpath '/home/hadoop/data/dept.txt' overwrite into table default.dept01;上传文...原创 2018-08-14 16:07:07 · 304 阅读 · 0 评论 -
数据倾斜以及本地模式的介绍
一:数据倾斜Map数 1)通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有:input的文件总个数,input的文件大小,集群设置的文件块大小。 2)是不是map数越多越好? 答案是否定的。如果一个任务有很多小文件(远远小于块大小128m),则每个小文件也会被当做...原创 2018-08-14 14:36:50 · 3848 阅读 · 0 评论