学习大数据的第52天（Hive）——day02

最新推荐文章于 2024-03-05 10:15:47 发布
最新推荐文章于 2024-03-05 10:15:47 发布
阅读量421 收藏 1
点赞数 1
文章标签： 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43808721/article/details/124184734
版权

学习大数据的第52天（Hive）——day02

Hive的分区操作

一、开启HIVE中分区表支持中文字段

​ 1.根据HIVE开启分区支持中文.txt中的操作步骤去MySQL中执行，修改HIVE元数据库中的编码格式

2. 插入数据
	INSERT INTO TABLE filetest.partition_student PARTITION(gender="女生") SELECT "1500100002","吕金鹏",24,"文科六班";
	INSERT INTO TABLE filetest.partition_student PARTITION(gender="男生") SELECT "1500100002","吕金鹏",24,"文科六班";
二、分区表操作

​ 特点：
​ 1.分区表与其他表不同点在于，分区字段的值为表目录下的子目录格式为: 分区字段=值

1.建表语句:

create database learn2;

CREATE TABLE IF NOT EXISTS learn2.partition_student(
id STRING COMMENT “学生ID”,
name STRING COMMENT “学生姓名”,
age int COMMENT “年龄”,
gender STRING COMMENT “性别”
) PARTITIONED BY (clazz STRING COMMENT “班级”)
ROW FORMAT DELIMITED FIELDS TERMINATED BY “,”
STORED AS TEXTFILE;

2.分区表插入数据:
1. load data local inpath “本地路径” into table 表名 PARTITION(分区字段 = 值)

load data local inpath “/usr/local/soft/hive-3.1.2/data/文科一班.txt” into table learn2.partition_student PARTITION(clazz=“文科一班”);
load data local inpath “/usr/local/soft/hive-3.1.2/data/文科二班.txt” into table learn2.partition_student PARTITION(clazz=“文科二班”);

插入多级分区：

load data local inpath “/usr/local/soft/hive-3.1.2/data/文科一班女.txt” into table learn2.partition_student4 PARTITION(clazz=“文科一班”,gender=“女”);
load data local inpath “/usr/local/soft/hive-3.1.2/data/文科二班男.txt” into table learn2.partition_student4 PARTITION(clazz=“文科二班”,gender=“男”);

  1. 覆盖原先分区中的数据:load data local inpath “本地路径” overwrite into table 表名 PARTITION(分区字段 = 值)

    load data local inpath “/usr/local/soft/hive-3.1.2/data/新文科一班.txt” overwrite into table learn2.partition_student PARTITION(clazz=“新文科一班”);
    load data local inpath “/usr/local/soft/hive-3.1.2/data/新文科一班.txt” overwrite into table learn2.partition_student PARTITION(clazz=“文科一班”);

  2. 查询分区:show partitions 表名;

    show partitions learn2.partition_student;

  3. 删除分区：
    1. 简单删除：alter table 表名 drop PARTITION(分区字段=值) 注意： 如果分区表是外部表，那么删除分区操作只能删除HIVE中的元数据 数据依然存在

      alter table learn2.partition_student drop PARTITION(clazz=“文科二班”);

    2. 强制删除分区:

      dfs -rmr /user/hive/warehouse/learn2.db/partition_student2/clazz=文科二班
      alter table learn2.partition_student2 drop PARTITION(clazz=“文科二班”);

  4. 恢复被删除分区:msck repair table 表名;
  5. 添加分区:alter table 表名 add PARTITION(分区字段=值)

    alter table learn2.partition_student2 add PARTITION(clazz=“理科一班”);

  6. 创建多级分区:

    特点：
    1.查询和操作分区时 格式为： clazz=文科一班/gender=女
    2.在HDFS上多级分区表现为多层级目录
    3.根据具体的数据情况进行区分，尽量将大一级划分放在前
    4.多级分区常用来将数据按天进行存储

    CREATE TABLE IF NOT EXISTS learn2.partition_student4(
    id STRING COMMENT “学生ID”,
    name STRING COMMENT “学生姓名”,
    age int COMMENT “年龄”
    ) PARTITIONED BY (clazz STRING COMMENT “班级”,gender STRING COMMENT “性别”)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY “,”
    STORED AS TEXTFILE;

    插入数据与单级分区类似
  7. 增加动态分区操作：

    set hive.exec.dynamic.partition=true; – 设置开启动态分区
    set hive.exec.dynamic.partition.mode=nostrict; – 设置动态分区的模式为非严格模式
    set hive.exec.max.dynamic.partitions.pernode=1000; --设置分区的最大分区数
    插入格式：
    INSERT INTO TABLE 表名 PARTITION(分区字段) SELECT查询语句
    分区的规则：默认是查询语句中后几列

Hive数据加载

1、通过load加载数据:
1.2、从HDFS上加载数据至表中

dfs -mkdir /data;

dfs -put “/usr/local/soft/hive-3.1.2/data/理科一班.txt” /data

load data inpath “/data/理科一班.txt” into table learn2.partition_student5;

注意: 通过HDFS中的数据加载至表中时，源路径中的数据会移动至表目录下。
1.3、从本地文件系统加载数据至表中：

load data local inpath “本地路径” into table 表名

load data local inpath “本地路径” overwrite into table 表名

load data local inpath “/usr/local/soft/hive-3.1.2/data/理科一班.txt”

注意：通过本地数据加载至表中时，源数据不变。
2、HDFS复制本地数据至表目录下(注意，创建表时，数据存储格式需要与数据的格式对应)：

1.创建表，获取表所在的路径
2.通过dfs -put “路径” 表所在路径

3、INSERT 方式：

INSERT INTO：
INSERT INTO TABLE 表名 SELECT 查询语句

INSERT INTO TABLE learn2.partition_student6 SELECT id,name,age,clazz as gender FROM learn2.partition_student5;

注意：查询语句中的字段需要与建表语句中的字段顺序一致，不然会导致数据错位。

INSERT OVERWRITE：
INSERT OVERWRITE TABLE 表名 SELECT 查询语句

通过查询的数据覆盖表中原有数据
4、AS SELECT
通过查询结果创建表，并输入数据

​ CREATE TABLE IF NOT EXISTS learn2.partition_student7 AS SELECT id,name,age,clazz as gender FROM learn2.partition_student5;

如果只想创建表而不需要加载数据,那么可以使用 LIKE

​ CREATE TABLE IF NOT EXISTS learn2.partition_student8 LIKE learn2.partition_student5;

5、LOCATION

通过创建表并指定数据所在位置，然后加载数据(数据已存在于HDFS目录中)

6、import table

需要搭配export使用，导入表时，可以指定新表名
import table 表名 FROM “路径”
IMPORT TABLE learn2.partition_student6 FROM “/data/export_data”;

​ IMPORT TABLE learn2.partition_student9 FROM “/data/export_data”;

数据导出

1.INSERT OVERWRITE LOCAL DIRECTORY “路径” SELECT 查询语句

INSERT OVERWRITE LOCAL DIRECTORY “/usr/local/soft/hive-3.1.2/data/output” SELECT * FROM learn2.partition_student6;
导出数据时，通过执行MapReduce任务导出到本地文件系统，查看导出数据，发现数据没有分隔符

INSERT OVERWRITE LOCAL DIRECTORY “/usr/local/soft/hive-3.1.2/data/output” ROW FORMAT DELIMITED FIELDS TERMINATED BY “:” SELECT * FROM learn2.partition_student6;

2.INSERT INTO LOCAL DIRECTORY “路径” SELECT 查询语句

3.HDFS get 方法

dfs -get 表所在路径 本地路径
dfs -get hdfs://master:9000/user/hive/warehouse/learn2.db/partition_student6 /本地路径
dfs -get hdfs://master:9000/user/hive/warehouse/learn2.db/partition_student6 /usr/local/soft/hive-3.1.2/data/

4.hive -e “SQL语句” > 本地文件系统

分析：
hive -e “SQL语句” 表示通过-e 将SQL语句传入CLI并执行，最后退出CLI
> 表示Linux中的重定向
hive -e “SELECT * FROM learn2.partition_student6” > /usr/local/soft/hive-3.1.2/data/output/partition_student6.txt

5.export方法

注：数据导出包括数据及其表的元数据信息
export table 库.表名 to HDFS
export table learn2.partition_student6 to “/data/export_data”

数据类型

1、ARRAY使用

create table learn2.person(
name string,
work_locations array
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’
COLLECTION ITEMS TERMINATED BY ‘,’; --表示Array中的数据是以,作为分隔

数据格式：

biansutao beijing,shanghai,tianjin,hangzhou
linan changchu,chengdu,wuhan

上传数据：

dfs -put /usr/local/soft/hive-3.1.2/data/ArrayTest.txt hdfs://master:9000/user/hive/warehouse/learn2.db/person

查询：

SELECT work_locations[0], work_locations[1] FROM learn2.person;

2、MAP使用

create table learn2.score(name string, score map<string,int> )
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ --列的分隔符
COLLECTION ITEMS TERMINATED BY ‘,’ – 集合的分隔符
MAP KEYS TERMINATED BY ‘:’; – 每个KV数据对的分隔符

数据格式：

biansutao ‘数学’:80,‘语文’:89,‘英语’:95
jobs ‘语文’:60,‘数学’:80,‘英语’:99

查看表的详细信息：

DESC FORMATTED learn2.score;

上传数据：

dfs -put /usr/local/soft/hive-3.1.2/data/score.txt hdfs://master:9000/user/hive/warehouse/learn2.db/score

查询数据：

SELECT score["‘数学’"] FROM learn2.score;
select name,score["‘数学’"] from learn2.score;

3、Struct的使用
创建数据表：

CREATE TABLE learn2.test(id int,course structcourse:string,score:int )
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’
COLLECTION ITEMS TERMINATED BY ‘,’;

数据格式：

1 english,80
2 math,89
3 chinese,95

上传数据：

dfs -put /usr/local/soft/hive-3.1.2/data/struct.txt hdfs://master:9000/user/hive/warehouse/learn2.db/test

查询数据:

SELECT course.score FROM learn2.test;

注意：struct就相当于一个对象通过 列名.属性 获取里面的数据
数据类型转换:

1.强制转换小数型为int
select cast(“1.1” as int);
2.小数转字符串
select cast(1.1 as STRING);

简单的数据查询

1、where

where + 过滤条件

between/ in / is NULL / IS NOT NULL / > < = ! …
如果多个存在多个过滤条件 可以用 AND OR 进行条件关联 或者是用NOT 进行条件结果取反

2、join

join 内连接、左外连接 右外连接 自连接 满连接

创建员工表：

create table learn2.emp(
EMPNO int
,ENAME string
,JOB string
,MGR int
,HIREDATE string
,SAL int
,BONUS int
,DEPTNO int
)
row format delimited
fields terminated by ‘,’;

插入数据：

load data local inpath “/usr/local/soft/hive-3.1.2/data/emp.txt” into table learn2.emp;

创建部门表：

create table learn2.dept(
DEPTNO int
,DEPTNAME string
,DEPTADDR string
)
row format delimited
fields terminated by ‘,’;

插入数据：

load data local inpath “/usr/local/soft/hive-3.1.2/data/dept.txt” into table learn2.dept;

内连接：

注意：关联时一定要跟上关联条件

SELECT
T1.DEPTNAME
,T2.ENAME
FROM learn2.dept T1 JOIN learn2.emp T2 ON T1.DEPTNO = T2.DEPTNO

左外连接：

SELECT
T1.DEPTNAME
,T1.DEPTNO
,T2.ENAME
FROM learn2.dept T1 LEFT JOIN learn2.emp T2 ON T1.DEPTNO = T2.DEPTNO

右外连接：

SELECT
T1.DEPTNAME
,T1.DEPTNO
,T2.ENAME
FROM learn2.dept T1 RIGHT JOIN learn2.emp T2 ON T1.DEPTNO = T2.DEPTNO

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4pyp4TCQ-1649950081813)(C:\Users\stu\AppData\Roaming\Typora\typora-user-images\image-20220414231329930.png)]

3、group by 分组聚合

– 统计每个部门下的员工数
SELECT
T1.DEPTNO
,count(1) as num
FROM learn2.emp T1 GROUP BY T1.DEPTNO

4、排序
4.1、ORDER BY 使用

– 对薪资进行倒排
SELECT
T1.ENAME
,T1.SAL
FROM learn2.emp T1 ORDER BY T1.SAL desc
通过查看MAPREDUCE日志 可以看到 Reduce: 1 ORDER BY 中默认的reduce数量只能为1
那么为什么Reduce数量只有一个
在实际处理数据过程中，要尽量避免使用全局排序

注意：set mapreduce.job.reduces; 表示查看当前reduce数量，set mapreduce.job.reduces = 3;表示设置当前reduce数量为3
4.2、sort by 使用

SELECT
T1.ENAME
,T1.SAL
FROM learn2.emp T1 SORT BY T1.SAL desc
通过设置reduce数量为3 查询出的结果为乱序

INSERT OVERWRITE LOCAL DIRECTORY “/usr/local/soft/hive-3.1.2/data/emp_sort”
SELECT
T1.ENAME
,T1.SAL
FROM learn2.emp T1 SORT BY T1.SAL desc;
通过输出的结果中三个文件可以看出 sort by 是分区内有序

多字段排序
– 以部门做升序，薪资做倒叙排列
SELECT
T1.DEPTNO
,T1.SAL
FROM learn2.emp T1 ORDER BY T1.DEPTNO, T1.SAL desc

SELECT
T1.DEPTNO
,T1.SAL
FROM learn2.emp T1 SORT BY T1.DEPTNO, T1.SAL desc;
– 结果也是分区间无序，分区内有序

4.3、distribute by + sort by 搭配使用进行排序

distribute by：指定按某列数据进行分区操作，和之前MR学习中的自定义分区类似

SELECT
T1.DEPTNO
,T1.SAL
FROM learn2.emp T1 distribute by T1.DEPTNO SORT BY T1.SAL desc;

4.4、cluster by 也表示排序操作 但是不能对数据做倒序, cluster by 表示对一个列数据进行分区排序

SELECT
T1.SAL
FROM learn2.emp T1 cluster by T1.SAL ;
±--------+
| t1.sal |
±--------+
| 300 |
| 1500 |
| 2850 |
| 3000 |
| 3000 |
| 1300 |
| 1600 |
| 800 |
| 950 |
| 1100 |
| 1250 |
| 1250 |
| 2450 |
| 2975 |
| 5000 |

SELECT
T1.SAL
FROM learn2.emp T1 distribute by T1.SAL SORT BY T1.SAL;

±--------+
| t1.sal |
±--------+
| 300 |
| 1500 |
| 2850 |
| 3000 |
| 3000 |
| 1300 |
| 1600 |
| 800 |
| 950 |
| 1100 |
| 1250 |
| 1250 |
| 2450 |
| 2975 |
| 5000 |
±--------+

4.5、distinct 去重操作

–查看人员表中一共有多少部门
SELECT
DISTINCT T1.DEPTNO
FROM learn2.emp T1

5、分桶操作
1> 创建分桶表

​ CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
​ [(col_name data_type [COMMENT col_comment], …)]
​ [CLUSTERED BY (col_name, col_name, …) [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS] --根据 给定的列进行 分桶排序 指定存入 N 个桶中

– 需求：
将bucket.txt中的数据分成4个桶进行存储
CREATE TABLE IF NOT EXISTS learn2.bucket_table(
id int,name STRING
)
CLUSTERED BY(id) INTO 4 BUCKETS
ROW FORMAT DELIMITED FIELDS TERMINATED BY “,”;

load data local inpath “/usr/local/soft/hive-3.1.2/data/bucket.txt” into table learn2.bucket_table;
如果加载数据的时候提示文件不存在,那么可以将数据先上传至HDFS，之后再去加载数据至表中，同时需要开启桶表的支持，对桶表的load操作
dfs -put /usr/local/soft/hive-3.1.2/data/bucket.txt /data/

load data inpath “/data/bucket.txt” into table learn2.bucket_table;

–启用桶表
set hive.enforce.bucketing=true;
–限制对桶表进行load操作
set hive.strict.checks.bucketing = false;

通过查看表对应HDFS上的路径 可以看到数据分为4分，这样有什么好处？

通过查看000000_0文件数据可以看到，ID列中对4取余都为0
通过查看000001_0文件数据可以看到，ID列中对4取余都为1

这样我们后面去表中取数据，如果对id进行过滤,如下SQL语句
SELECT * FROM learn2.bucket_table WHERE id in (‘4’,‘1’);
那么它的执行逻辑为： 对需要查找的 id (‘4’,‘1’) 进行取余，
如果余数为0那么就去000000_0文件中加载数据
如果余数为1那么就去000001_0文件中加载数据
这样就可以避免加载不必要的数据，提高执行效率

2> 查看桶的数量

DESC FORMATTED learn2.bucket_table; 中的 Num Buckets: 4 参数查看具体对应的桶数

6.函数的基本使用
1> 如何查看函数

1)SHOW FUNCTIONS 查看所有支持的函数 共289个
2)SHOW FUNCTIONS LIKE “**” 模糊查询函数名
3)DESC FUNCTION + 函数名 可以查看函数的具体使用方法

2> IF 函数

​ IF(判断条件,如果为TRUE则返回该参数中内容,如果为FLASE则返回当前参数位置的内容)

SELECT
T1.ENAME
,IF(T1.SAL > 1000,“高收入”,“低收入”) as if_sal
FROM learn2.emp T1

3> CASE WHEN 函数：CASE WHEN 。。。END

​ CASE WHEN 判断条件1 THEN 如果为TURE返回THEN1后的值,
​ WHEN 判断条件2 THEN 如果为TURE返回THEN2后的值,
​ ELSE 以上都不满足，则返回ELSE后的值
​ END
– 需求：将收入分成三等分

SELECT
T1.ENAME
,CASE WHEN T1.SAL > 3000 THEN “高收入”
WHEN T1.SAL <= 3000 AND T1.SAL > 1000 THEN “中收入”
ELSE “低收入” END case_when_sal
FROM learn2.emp T1
注意：如果需求中只有一个判断，那么使用IF函数更为方便，否则则使用 CASE WHEN

4> 日期函数(请查阅HIVE日期函数使用.pdf)

​ select unix_timestamp(from_unixtime(unix_timestamp()));

5> 字符串函数的使用(请查阅字符串函数.pdf)

​ 字符串拼接：
​ SELECT CONCAT(T1.EMPNO,"/",T1.ENAME) FROM learn2.emp T1
​ SELECT CONCAT_WS("/",CAST(T1.EMPNO AS STRING),T1.ENAME) FROM learn2.emp T1
​ 注：CONCAT_WS需要提供STRING类型数据，如果不满足可以通过CAST将数据类型进行转换
​ 字符串截取函数：
​ SELECT SUBSTRING(CURRENT_DATE,1,7);

​ 切分函数：
​ select split(‘abtcdtef’,‘t’) 返回的数据类型为复杂数据类型Array

三岁清风
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据技术基础综合项目——牛客网招聘岗位统计分析
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
06-19 1900
大数据技术基础综合项目
hive+hbase学习手册
尬聊码农
05-13 816
hive学习手册 一、hive入门手册 1.什么是数据仓库 1.1数据仓库概念 对历史数据变化的统计，从而支撑企业的决策。比如：某个商品最近一个月的销量，预判下个月应该销售多少，从而补充多少货源。 1.2传统数据仓库面临的挑战 （1）无法满足快速增长的海量数据存储需求 （2）无法有效处理不同类型的数据 （3）计算和处理能力不足 1.3 Hive介绍 Hbase支持快速的交互式的大数据应用 ...
Hadoop-hive2
zgq258的博客
04-11 1719
hive-jdbc
Hive分区字段含中文报错问题解决方案
mp9105的博客
02-23 2650
使用Hive创建动态分区时，如果分区中含有中文，会报以下错误。 Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’ 原因应该是分区表的编码和全局编码不相同造成的 提供两种解决方案: 方案一：修改mysql配置 临时修改：进入mysql中设置如下参数 set character_set_client = utf8; set character_set_conne
Hive Partition
simplelife12138的博客
01-09 295
重置HIVE 登录mysql [root@m ~]# mysql -uroot -p1 ->MySQL drop database hive; create database hive; --修改数据库编码 alter database grant all on hive.* to hive@'%' identified by '1'; grant all on hive.* to hi
Hive 动态分区以及分区以及中文分区字段
m0_73098549的博客
06-06 3734
hive 提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。
hive中文分区字段设置
qq_41458071的博客
05-12 2156
hive存数据是中文分区字段,需要设置 查看是否都是utf-8 show variables like '%char%'; 如不是需配置my.cnf(/etc/my.cnf或/usr/my.cnf) [mysqld] character-set-server=utf8 重启mysql service mysql restart #修改hive database编码 alter database hive default character set utf8; #修改table编码...
大数据面试系列之——Hive
风尘子曰
02-12 1018
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据 1.Hive与传统数据库的区别 1、数据存储位置：Hive是建立在Hadoop之上的，所有的Hive的数据都是存储在HDFS中的。而数据库则可以将数据保存在块设备或本地文件系统中。 2、数据格式：Hive中没有定义专门的数据格式，由用户指定，需要指定三个属性：列分隔符，行分隔符，以及读取文件数据的方法。数据库中，存储引擎定义了自己的...
Hive SQL 题目总结 - 尚硅谷
qq_25127933的博客
09-25 2272
​手写HQL第一题 表结构：uid,subject_id,score 求：找出所有科目成绩都大于某一学科平均成绩的学生数据集如下​​ 1001 01 90 1001 02 90 1001 03 90 1002 01 85 1002 02 85 1002 03 70 1003 01 70 1003 02 70 1003 03 85 1) 建表语句 crea.
Hive系列（三）—— 性能优化及数据倾斜
BigData_Hubert的博客
08-28 9850
在Hive使用中，数据倾斜以及解决方案，是老生常谈的问题，一直没有时间去全面的了解；最近花了一段时间，总结了hive性能优化，尤其是数据倾斜的优化如下。希望能对Hive感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方，望指明，一起探讨，学习，进步。
Hive数据分区时分区字段不可为中文
最新发布
weixin_41367158的博客
03-05 76
问题原因：hive配置文件内，没有识别中文的编码集，需手动修改配置文件。
hadoop2-hive
abxlep7702的博客
10-31 535
hadoop2-hive 1.What,Why,How? 1.Hive是数据仓库，在MySQL或其他关系型数据库中存放元数据信息，而把真正的Data存放在HDFS上面。 2.主要使用Hive来对历史数据进行分析。 3.方便非Java开发者(或者没有编程基础的人员)，但是会SQL，他们使用SQL对数据进行分析 4.Hive会将SQL转化为MapReduce进行工作。读取在My...
[hive]hive不允许分区字段为中文或特殊字段
胖胖的博客
09-25 400
【代码】[hive]hive不允许分区字段为中文或特殊字段。
mysql skewed_Hive分区字段含中文报错问题解决方案
weixin_28917279的博客
02-26 280
使用Hive创建动态分区时，如果分区中含有中文，会报以下错误。Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’复制代码原因应该是分区表的编码和全局编码不相同造成的提供两种解决方案:方案一：修改mysql配置临时修改：进入mysql中设置如下参数set c...
Hive中文分区名引起的血案
tankt101的博客
03-21 1916
说明：hive清理元数据，由于分区名称带有中文名称，导致表无法删除，故手动清理元数据库。 1、查询tbl_id和part_id 注意：一个库可能会有同名的表。确认要删的表属于哪个库 select * from TBLS where TBL_NAME=‘dwd_mhs_ipt_dischargesummary’ \G 得到tbl_id、sd_id select * from PARTITIONS where tbl_id=‘974’ \G 得到part_id，有多个part_id select * from
ORC格式hive逻辑中case when问题
weixin_34061555的博客
02-02 164
前阵子做hive开发发现orc格式文件使用case when情况下会造成nullcount会统计入内问题，修改为sum就没此问题。具体例子下次放假回来记录，现在不在公司，这里做个mark 转载于:https://www.cnblogs.com/yaohaitao/p/10348946.html...
Hive 解决中文分区问题 Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for
记录，学习。
02-04 5240
Hive 中文分区 初学Hive。在创建动态分区的时候。报错。 Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’ 执行SQL为： INSERT INTO TABLE test_company PARTITION (p_provinc
hive分组排序（rank函数+partiton实现）
aiduo3346的博客
09-05 357
Rank 1．函数说明 RANK()排序相同时会重复，总数不会变 DENSE_RANK()排序相同时会重复，总数会减少 ROW_NUMBER()会根据顺序计算 2．数据准备（手巧时切记用tab分开，不要用空格，会报错0 孙悟空 语文 87孙悟空 数学 95孙悟空 英语 68大海 语文 94大海 数学 56大海...
Git分支--超基础
XXL_SanSui的博客
09-19 502
Git分支 使用分支意味着你可以从开发主线上分离开来，不影响主线的同时继续工作。 初始的时候使用git branch命令，会看到当前有且仅有一个master分支 //创建一个新的分支是 git branch a01 //然后查看一下分支，分支前面的 “ * ”代表当前是哪个分支，如果需要切换分支，可以使用下面的命令 git checkput a01 //修改分支名称 git branch -m a01 b01 //删除一个分支 git branch -d a01 //创建一个新分支并切换到该分支上
大数据学习：Hive简介及其作用与特征
大数据学习：Hive简介.pdf Hive简介 《Hive数据仓库》人工智能与大数据学院 夏汛 学习目标/Target 大数据学习：Hive简介.pdf 和 Hive简介 《Hive数据仓库》人工智能与大数据学院 夏汛通过提供详细的介绍和目标，为...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值