【Hive】SQL

最新推荐文章于 2023-03-17 11:56:32 发布
最新推荐文章于 2023-03-17 11:56:32 发布
阅读量1k 收藏 12
点赞数
分类专栏： SQL Hive 文章标签： sql hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45608530/article/details/124382464
版权
SQL 同时被 2 个专栏收录
2 篇文章 0 订阅
订阅专栏
Hive
2 篇文章 0 订阅
订阅专栏

一、数据库定义操作

1、创建数据库

CREATE DATABASE [IF NOT EXISTS] database_name
	[COMMENT database_comment]
	[LOCATION hdfs_path]
	[WITH DBPROPERTIES (property_name=property_value, ...)];

LOCATION ：设置表数据保存路径
DBPROPERTIES ：设置参数

2、查询数据库

SHOW DATABASES;
SHOW DATABASES LIKE 'db_*'	# 过滤查询

3、查看数据库详情

DESC DATABASES db_name;
DESC DATABASES EXTENDED db_name;	# 显示数据库详细信息

4、切换当前工作数据库

USE db_name;

5、修改数据库（属性值）

ALTER DATABASES db_name SET DBPROPERTIES("key", "value");

6、删除数据库

DROP DATABASE [IF EXISTS] db_name [CASCADE];

CASCADE ：如果数据库不为空，使用命令强制删除

7、创建表

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], 
	...
)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) 
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
[AS select_statement]
[LIKE table_name]

[ROW FORMAT row_format]：

ROW FORMAT 
DELIMITED [FIELDS TERMINATED BY char] 				# 字段分割符
		  [COLLECTION ITEMS TERMINATED BY char]     # 集合字段内分隔符
          [MAP KEYS TERMINATED BY char] 	        # Map类型数据，k-v分割符
          [LINES TERMINATED BY char] 				# 行数据分割符号
   | 
ROW FORMAT SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value,  ...)]
# 单独指定 Serialize/Deserilize （序列化/反序列化）方式

[STORED AS file_format]：数据文件存储格式：textfile、sequencefile、rcfile、orcfile
[LIKE table_name]：根据已存在的表建表，只包含结构

8、查询表类型

DESC FORMATTED table_name;

9、删除表

DROP TABLE table_name;

10、内部表&外部表(EXTERNAL) 转换

ALTER TABLE table_name1 SET TBLPROPERTIES('EXTERNAL'='TRUE');

ALTER TABLE table_name1 SET TBLPROPERTIES('EXTERNAL'='FALSE');

11、重命名表

ALTER TABLE table_name RENAME TO new_table_name;

12、增加、修改和删除表分区

详见分区表

13、增加、修改和替换列信息

ALTER TABLE table_name ADD COLUMNS ( col_name data_type [COMMENT col_comment], ... )

ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]

ALTER TABLE table_name REPLACE COLUMNS ( col_name data_type [COMMENT col_comment], ... )

ADD：表示新增字段
CHANGE ：修改字段名称、类型、描述
[FIRST|AFTER column_name]：修改字段的位置，首置位、某字段之后
REPLACE：替换原表所有字段

二、数据操作

清除表中数据（Truncate）

truncate table table_name;

注意：Truncate只能删除管理表，不能删除外部表中数据

1、数据导入

1) 向表中装载数据（Load）

hive> load data [local] inpath '数据的path' [overwrite] into table table_name[partition (partcol1=val1,…)];

[local]：表示从本地加载数据到hive表，否则从hdfs加载数据到hive表

3) 通过查询语句向表中插入数据（Insert）

INSERT into|overwrite TABLE table_name1 
SELECT col_name1,... FROM table_name2 ;

INSERT：不支持插入部分字段
into|overwrite：追加 或 覆盖

4) 多表（多分区）插入模式（根据多张表查询结果）

FROM table_name2
INSERT into|overwrite TABLE table_name1 PARTITION(partition_col = 'value1')
SELECT col_name1,... WHERE partition_col = 'value1'
INSERT into|overwrite TABLE table_name1 PARTITION(partition_col = 'value2')
SELECT col_name1,... WHERE partition_col = 'value2';

5) 查询语句中创建表并加载数据（As Select）

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name1
AS SELECT col_name1,... FROM table_name2

6) Import数据到指定Hive表中

hive> import table table_name from 'hdfs文件路径';

import：需要使用export导出的数据

2、数据导出

1) Insert导出

# 将查询的结果导出
hive> insert overwrite [local] directory 'local路径' 
		[ROW FORMAT row_format] # 数据格式化
		select *|col_name,... from table_name;

[local]：将结果到处到local本地，否则导出至HDFS
[ROW FORMAT row_format]：参照创建表 格式化方式

2) Hive Shell 命令导出

[root@local hive]$ bin/hive -e 'select * from default.table_name;' >
 /local/hive/datas/export/文件名.txt;

基本语法：hive -f/-e 执行语句或者脚本 > file

3) Export导出到HDFS上

hive> export table db_name.table_name to 'HDFS目录路径';

ps：export和import主要用于两个Hadoop平台集群之间Hive表迁移。

三、查询

1、基本查询

SELECT [ALL | DISTINCT] select_expr [[AS] 别名], ...
  FROM table_reference
  [WHERE where_condition]
  [GROUP BY col_list]
  [ORDER BY col_list [ASC | DESC]]
  [CLUSTER BY col_list
    | [DISTRIBUTE BY col_list] [SORT BY col_list]
  ]
 [LIMIT [offset,] rows]

[LIMIT [offset,]rows]：LIMIT子句用于限制返回的行数

注意：
（1）SQL 语言大小写不敏感。
（2）SQL 可以写在一行或者多行
（3）关键字不能被缩写也不能分行
（4）各子句一般要分行写。
（5）使用缩进提高语句的可读性。

2、算术运算符

运算符描述
A+BA和B 相加
A-BA减去B
A*BA和B 相乘
A/BA除以B
A%BA对B取余
A&BA和B按位取与
A|BA和B按位取或
A^BA和B按位取异或
~AA按位取反

示例：

select sal+1 from emp;

3、比较运算符（Between/In/ Is Null）

注意：这些操作符同样可以用于JOIN…ON和HAVING语句中

操作符支持的数据类型描述
A=B基本数据类型如果A等于B则返回TRUE，反之返回FALSE
A<=>B基本数据类型如果A和B都为NULL，则返回TRUE，如果一边为NULL，返回False
A<>B, A!=B基本数据类型A或者B为NULL则返回NULL；如果A不等于B，则返回TRUE，反之返回FALSE
A<B基本数据类型A或者B为NULL，则返回NULL；如果A小于B，则返回TRUE，反之返回FALSE
A<=B基本数据类型A或者B为NULL，则返回NULL；如果A小于等于B，则返回TRUE，反之返回FALSE
A>B基本数据类型A或者B为NULL，则返回NULL；如果A大于B，则返回TRUE，反之返回FALSE
A>=B基本数据类型A或者B为NULL，则返回NULL；如果A大于等于B，则返回TRUE，反之返回FALSE
A [NOT] BETWEEN B AND C基本数据类型如果A，B或者C任一为NULL，则结果为NULL。如果A的值大于等于B而且小于或等于C，则结果为TRUE，反之为FALSE。如果使用NOT关键字则可达到相反的效果。
A IS NULL所有数据类型如果A等于NULL，则返回TRUE，反之返回FALSE
A IS NOT NULL所有数据类型如果A不等于NULL，则返回TRUE，反之返回FALSE
IN(数值1, 数值2)所有数据类型使用 IN运算显示列表中的值
A [NOT] LIKE BSTRING 类型B是一个SQL下的简单正则表达式，也叫通配符模式，如果A与其匹配的话，则返回TRUE；反之返回FALSE。B的表达式说明如下：‘x%’表示A必须以字母‘x’开头，‘%x’表示A必须以字母’x’结尾，而‘%x%’表示A包含有字母’x’,可以位于开头，结尾或者字符串中间。如果使用NOT关键字则可达到相反的效果。
A RLIKE B, A REGEXP BSTRING 类型B是基于java的正则表达式，如果A与其匹配，则返回TRUE；反之返回FALSE。匹配使用的是JDK中的正则表达式接口实现的，因为正则也依据其中的规则。例如，正则表达式必须和整个字符串A相匹配，而不是只需与其字符串匹配。

4、Like和RLike

  1. 使用LIKE运算选择类似的值
  2. 选择条件可以包含字符或数字:
    % 代表零个或多个字符(任意个字符)。
    _ 代表一个字符。
  3. RLIKE子句
    RLIKE子句是Hive中这个功能的一个扩展，其可以通过Java的正则表达式这个更强大的语言来指定匹配条件。

示例：

# 查找名字中带有A-N的员工信息
select * from emp where ename  RLIKE '[A-N]';

5、逻辑运算符（And/Or/Not）

操作符含义
AND逻辑并
OR逻辑或
NOT逻辑否

四、分组

1、Group By语句

  GROUP BY语句通常会和聚合函数一起使用，按照一个或者多个列队结果进行分组，然后对每个组执行聚合操作。
示例：

# 计算雇员表每个部门的平均工资
select t.deptno, avg(t.sal) avg_sal from emp t group by t.deptno;

2、Having 语句

having与where不同点：
（1）where后面不能写分组函数，而having后面可以使用分组函数（可以使用分组聚合后的字段进行过滤）。
（2）having只用于group by分组统计语句。
示例：

# 每个部门的平均薪水大于2000的部门
select deptno, avg(sal) avg_sal from emp group by deptno having
 avg_sal > 2000;

五、Join语句

join基本分类及演示：https://www.runoob.com/wp-content/uploads/2019/01/sql-join.png
笛卡尔积：产生条件:
  （1）省略连接条件
  （2）连接条件无效
  （3）所有表中的所有行互相连接

ps:连接查询时表别名的好处：
  （1）使用别名可以简化查询。
  （2）使用表名前缀可以提高执行效率。

六、排序

1、全局排序（Order By）

注意：Order By 全局排序，只有一个Reducer

ASC（ascend）: 升序（默认）
DESC（descend）: 降序

2、每个Reduce内部排序（Sort By）

  Sort By：对于大规模的数据集order by的效率非常低。在很多情况下，并不需要全局排序，此时可以使用sort by。
  Sort by为每个reducer产生一个排序文件。每个Reducer内部进行排序，对全局结果集来说不是排序。
示例：

# 根据部门编号降序查看员工信息
select * from emp sort by deptno desc;

ps:

1）设置reduce个数
hive (default)> set mapreduce.job.reduces=3;
2）查看设置reduce个数
hive (default)> set mapreduce.job.reduces;
3）将查询结果导入到文件中（按照部门编号降序排序）
hive (default)> insert overwrite local directory 
'/local/datas/sortby-result'
 select * from emp sort by deptno desc;

3、分区（Distribute By）

  Distribute By： 在有些情况下，需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by类似MR中partition（自定义分区），进行分区，结合sort by使用。
注意：

  • distribute by的分区规则是对每条数据根据分区字段值的hash码与reduce的个数进行模除后，余数相同的分到一个区。
  • Hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。

示例：

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory '/local/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

ps:对于distribute by进行测试，一定要分配多reduce进行处理，否则无法看到distribute by的效果。

4、Cluster By

  当distribute by和sort by字段相同时，可以使用cluster by方式。
  cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。

select * from emp cluster by deptno;
select * from emp distribute by deptno sort by deptno;

七、分区表和分桶表

1、分区表

  分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

# 创建分区表语法
create table partition_table(
	col_name data_type [COMMENT col_comment],...
)
partitioned by (partition_col_name data_type );

注意：分区字段不能是表中已经存在的数据，可以将分区字段看作表的伪列，可通过伪列查询。并且分区表加载数据时（load…），必须指定分区。

1) 增加分区

ALTER TABLE partition_table add partition(partition_col_name1="分区") [partition(partition_col_name2="分区")]...;

2) 删除分区

ALTER TABLE partition_table drop partition(partition_col_name1="分区") [partition(partition_col_name2="分区")]...;

3) 查看表分区

show partitions partition_table;

4) 查看分区表结构

desc formatted partition_table;

2、二级分区

create table partition_table(
	col_name data_type [COMMENT col_comment],...
)
partitioned by (partition_col_name1 data_type, partition_col_name1 data_type);

3、动态分区

  关系型数据库中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用Hive的动态分区，需要进行相应的配置。

开启动态分区参数设置
 （1）开启动态分区功能（默认true，开启）
    hive.exec.dynamic.partition=true
 （2）设置为非严格模式（动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。）
    hive.exec.dynamic.partition.mode=nonstrict
 （3）在所有执行MR的节点上，最大一共可以创建多少个动态分区。默认1000
    hive.exec.max.dynamic.partitions=1000
 （4）在每个执行MR的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即day字段有365个值，那么该参数就需要设置成大于365，如果使用默认值100，则会报错。
    hive.exec.max.dynamic.partitions.pernode=100
 （5）整个MR Job中，最大可以创建多少个HDFS文件。默认100000
    hive.exec.max.created.files=100000
 （6）当有空分区生成时，是否抛出异常。一般不需要设置。默认false
    hive.error.on.empty.partition=false

# 示例
# partition(loc) 标识动态分区的字段 loc
insert into table dept_table partition(loc) select deptno, dname, loc from dept;

4、把数据直接上传到分区目录上，让分区表和数据产生关联的三种方式

1) 方式一：上传数据后修复

示例：

# 上传数据
hive > dfs -mkdir -p
 /user/hive/mydb/dept_table/day=20200401/hour=13;
hive > dfs -put /local/datas/dept_20200401.log /user/hive/mydb/dept_table/day=20200401/hour=13;
#（查询不到刚上传的数据）执行修复命令
hive > msck repair table dept_table;
# 查询数据
hive > select * from dept_table where day='20200401' and hour='13';
  1. 方式二：上传数据后添加分区
# 上传数据
hive > dfs -mkdir -p
 /user/hive/mydb/dept_table/day=20200402/hour=14;
hive > dfs -put /local/datas/dept_20200402.log /user/hive/mydb/dept_table/day=20200402/hour=14;
# 执行添加分区
hive > alter table dept_table add partition(day='20200402',hour='14');
# 查询数据
hive > select * from dept_table where day='20200402' and hour='14';

3) 方式三：创建文件夹后load数据到分区

# 创建目录
hive > dfs -mkdir -p
 /user/hive/mydb/dept_table/day=20200403/hour=15;
# 上传数据
hive > load data local inpath '/local/datas/dept_20200403.log' into table
 dept_table partition(day='20200403',hour='12');
# 查询数据
hive > select * from dept_table where day='20200403' and hour='15';

5、分桶表

  对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。
  分桶是将数据集分解成更容易管理的若干部分的另一个技术。
  分区针对的是数据的存储路径；分桶针对的是数据文件。

# 创建分桶表（通过id字段分桶，共分 4 buckets）
create table bucket_table(id int, name string)
clustered by(id) 
into 4 buckets

分桶规则：Hive的分桶采用对分桶字段的值进行哈希，然后除以桶的个数求余的方 式决定该条记录存放在哪个桶当中
注意事项：
 （1）reduce的个数设置为-1,让Job自行决定需要用多少个reduce或者将reduce的个数设置为大于等于分桶表的桶数
 （2）从hdfs中load数据到分桶表中，避免本地文件找不到问题
 （3）不要使用本地模式(考虑到资源问题，防止MR执行失败)

6、抽样查询

  对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。

# 查询时使用 TABLESAMPLE(BUCKET x OUT OF y ON 分桶字段)
select * from bucket_table tablesample(bucket 1 out of 4 on id);

注意：x的值必须小于等于y的值，否则报错！！！

FAILED: SemanticException [Error 10061]: Numerator should not be bigger than denominator in sample clause for table stu_buck

八、函数

1、系统内置函数

# 查看系统自带的函数
 show functions;
# 显示自带的函数的用法
 desc function upper;
# 详细显示自带的函数的用法
 desc function extended upper;

2、常用内置函数

1) 空字段赋值

NVL( value，default_value)

2) CASE WHEN 选择分支

CASE 
	WHEN 条件表达式1 THEN 为True时返回
	[WHEN 条件表达式2 THEN 为True时返回 ...]
	[ELSE 为False时返回]
END

3) 行转列

CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;
CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;
注意: CONCAT_WS must be "string or array
COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。

4) 列转行

将hive一列中复杂的array或者map结构拆分成多行。

LATERAL VIEW udtf(expression) tableAlias AS columnAlias
# 用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。
# SPLIT(col,"")：将一个字段值按照指定字符进行拆分，返回array
# EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。

示例：

# 示例数据
# 	movie			category
# 《Lie to me》	悬疑,警匪,动作,心理,剧情

# 执行查询
SELECT movie,category_name 
FROM movie_info 
LATERAL VIEW explode(split(category,",")) movie_info_tmp  AS category_name ;

# 查询结果
# 	movie  	category_name 
# 《Lie to me》	悬疑
# 《Lie to me》 警匪
# 《Lie to me》 动作
# 《Lie to me》 心理
# 《Lie to me》 剧情

5) 窗口函数（开窗函数）

窗口函数（个人理解）：在不影响整体查询结果的情况下，单独开辟一个窗口用于计算，并将计算结果作为一个字段添加到每一条记录中。

在计算过程中可以选择对于每一条记录用于计算的窗口范围。窗口内可进行分区或排序。

OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的改变而变化。

CURRENT ROW：当前行
n PRECEDING：往前n行数据
n FOLLOWING：往后n行数据
UNBOUNDED：起点，
UNBOUNDED PRECEDING 表示从前面的起点，
UNBOUNDED FOLLOWING表示到后面的终点

LAG(col,n,default_val)：往前第n行数据
LEAD(col,n, default_val)：往后第n行数据
NTILE(n)：把有序窗口的行分发到指定数据的组中，各个组有编号，编号从1开始，对于每一行，NTILE返回此行所属的组的编号。注意：n必须为int类型。

6）Rank

RANK() 排序相同时会重复，总数不会变
DENSE_RANK() 排序相同时会重复，总数会减少
ROW_NUMBER() 会根据顺序计算

番茄、西红柿
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive sql语句查询
11-25
数据库相关操作 Hive配置单元包含一个名为 default 默认的数据库. create database [if not exists] ；---创建数据库 show databases; --显示所有数据库 drop database if exists [restrict|cascade]; --删除数据库，默认情况下，hive不允许删除含有表的数据库，要先将数据库中的表清空才能drop，否则会报错 --加入cascade关键字，可以强制删除一个数据库,默认是restrict，表示有限制的 eg. hive> drop database if exists users cascade; use ; --切换数据库
Hive基本SQL操作(图文并茂）
热门推荐
gaofeng的博客
06-21 1万+
Hive基本SQL操作 Hive DDL（数据库定义语言） 1、数据库的基本操作 --展示所有数据库 show databases; --切换数据库 use database_name; /*创建数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=pro
大数据之Hive（六）：Hive Sql 大全（建议收藏）
Oak_Komorebi的博客
08-17 2240
本节基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）： 对数据库的操作：包含创建、修改数据库 对数据表的操作：分为内部表及外部表，分区表和分桶表 二、DQL语句（数据查询语句）： 单表查询、关联查询 hive函数：包含聚合函数，条件函数，日期函数，字符串函数等 行转列及列转行：lateral view 与 explode 以及 reflect 窗口函数与分析函数 其他一些窗口函数 hive的DDL语法 对数据库的操作 创建数据库.
Hive 的SQL基本操作
半吊子Kyle的博客
06-17 2389
Hive 的基本操作Hive 数据库操作Hive 数据库表操作 Hive 数据库操作 切换数据库 -- 切换为 myhive 数据库 use myhive; 查看所有的数据库 -- 切换为 myhive 数据库 show databases; 查看数据库的详细信息 -- 查看数据库 myhive 的详细信息 desc database myhive; 创建数据库 -- 创建一个名称为 myhive 的数据库 create database if not exists myhive; 数据库表
HiveSQL动态实现多行区间分组维度
weixin_42220968的博客
03-17 520
工作中接到一个报表需求，需要根据用户的授信额度，动态统计各个额度分段的人数例如：维度，[0,500)，主要思路是使用爆炸函数posexplode如果你也遇到类似的需求，代码直接copy复用即可。
Hive基本SQL操作
qq_41878423的博客
10-08 2172
Hive基本SQL操作Hive DDL（数据库定义语言）1、数据库的基本操作2、数据库表的基本操作Hive DML1、插入数据1、Loading files into tables2、Inserting data into Hive Tables from queries3、Writing data into the filesystem from queries4、Inserting values into tables from SQL2、数据更新和删除 Hive DDL（数据库定义语言） 1、数据库的
hiveSQL
楠楠的博客
01-11 2982
Hive提供了很多的函数，可以在命令行下显示函数罗列所有的函数，你会发现这些函数名与mysql的很相近，绝大多数相同的，可通过描述函数functionName查看函数使用方法。 hive支持的数据类型很简单就INT（4字节整数），BIGINT（8 字节整数），FLOAT（单精度），DOUBLE（双精度），BOOLEAN，STRING等原子类型，连日期时间类型也不支持，通过TO_DATE，
Hive 通过shell动态生成SQL
q79969786的专栏
07-16 3040
在Hive生成文件通过kettle往关系型数据库导数据时，Hive默认将null转为\n，kettle读取文件并导入数据库时会出现问题，本来在hive中是null，在数据库中变成\n，特别是数字类型，\n会提示类型不能转换，直接报错，想到hive的集群处理能力，所以在hive端先将数据处理好。如果每个表每个字段处理太麻烦，下面这个脚本传入表名，生成select语句直接供hive查询。
如何用SQL来写动态SQL，本文主要是HiveQL
Allen_Infosys
04-15 4734
SQL语句静态变为静态，字符串拼接，concat函数，Hive环境，HiveQL
HiveSQL
qq_43528451的博客
05-06 1万+
HiveSQL Hive Sql 入门教程基础关键字用法 前置教程 hive库表知识 hive库是表的一个集合，一个库拥有多个表，hive整个数据库拥有多个库。 hive表代表一个对象，比如一个人设计为一个表就有身高体重等属性，在hive 中实际存储表现为每张表会有一个存储地址，比如表名为people，实际存储会有 hive中的分区概念 /xx/xx/people,hive中引用了一个很重要的概念分区，分区实际上也是这个表的字段，反映在 实际存储中通常以天为分区，存储在址为/xx/xx/peopl
HiveSQL详细和优化
08-05
HiveSQL详细和优化，以及部分个人点评 This is a brief tutorial that provides an introduction on how to use Apache Hive HiveQL with Hadoop Distributed File System. This tutorial can be your first step towards becoming a successful Hadoop Developer with Hive.
HIVE-SQL操作语句
01-06
hadoop数据库中的hive技术，支持一般SQL语句操作数据库，但是也有部分不同，文档中总结了常用的一些操作指令。
Hive中SQL详解
07-17
Hive中SQL详解
hivesql语句练习
12-06
1.上传tar包 2.解压 tar -zxvf hive-1.2.1.tar.gz 3.安装mysql数据库 推荐yum 在线安装 4.配置hive （a）配置HIVE_HOME环境变量 vi conf/hive-env.sh ... hive -e ‘sql’ bin/hive -e 'select * from t_test'
SQL、Hive SQL等SQL血缘解析工具
01-14
// 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = ...
Hive SQL语法总结
01-20
Hive是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，它架构在Hadoop之上，通过SQL来对数据进行操作，了解SQL的人，学起来毫不费力。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，...
Hive SQL练习题库
最新发布
04-24
Hive SQL练习题库，适合Hive初学者练习。
HiveSQL的编译过程
02-26
1、Hive是基于Hadoop的一个数据仓库系统，在...对这一过程的理解不仅帮助我们解决了一些Hive的bug，也有利于我们优化HiveSQL，提升我们对Hive的掌控力，同时有能力去定制一些需要的功能。详细讲解SQL编译为MapReduce之
【Hive】SQL语句大全
weixin_43870755的博客
07-12 2488
文章目录 库操作创建数据库查询数据库修改数据库删除数据库 表操作创建表查看表修改表删除表内部表(管理表)和外部表两者的区别互相转换 分区表创建分区表添加分区往分区表中添加数据查询分区表数据删除分区查看分区修复分区 数据操作数据导入Load导入Ins...
hive sql boy
03-15
Hive SQL是一种基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言，用于处理大规模的结构化和半结构化数据。Hive SQL可以将SQL语句转换为MapReduce任务，在Hadoop集群上进行分布式计算和数据处理。 Hive SQL...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值