大数据/hive
文章平均质量分 62
HappyRocking
坚信强人工智能的到来
展开
-
Hive之grouping sets用法及grouping_id计算方法
grouping sets 用法在Hive中,会出现对同一个数据表进行不同粒度的汇总,这时可以有两种方案:用多个sql,对不同粒度使用不同的 group by 方法。用1个sql,使用 grouping sets 方法一次性得到所有粒度的汇总。以测试数据表 tmp_student 为例:1、生成测试数据在 hive 环境中创建临时表:create table tmp.tmp_student( name string, class int, sex string,原创 2020-06-04 15:13:48 · 32475 阅读 · 8 评论 -
Hive窗口函数之preceding and following
Hive窗口函数中,有一个功能是统计当前行之前或之后指定行作为一个聚合,关键字是 preceding 和 following,举例说明其使用方法。一、加载测试数据在 hive 环境中创建临时表:create table tmp_student( name string, class tinyint, cooperator_name ...原创 2020-04-07 18:33:29 · 5222 阅读 · 2 评论 -
hive 的 left semi join 讲解
介绍LEFT SEMI JOIN (左半连接)是 IN/EXISTS 子查询的一种更高效的实现。示例可以改写为特点1、left semi join 的限制是, JOIN 子句中右边的表只能在 ON 子句中设置过滤条件,在 WHERE 子句、SELECT 子句或其他地方过滤都不行。2、left semi join 是只传递表的 join key...原创 2018-04-10 18:14:07 · 87719 阅读 · 20 评论 -
如何导出hive中的数据
从Hive中导出数据,写入到可以直接使用的文件,方法如下:导出到本地方法一:使用 linux 命令 可以使用 hive -e 或者 -f 命令,其中 -e 表示直接执行后面跟的参数sql,-f 表示执行文件中所有的sql。$ hive -e "select * from dev.test_table limit 10" > hive_result这个命令会将 selec...原创 2018-06-11 15:37:04 · 1313 阅读 · 0 评论 -
如何查看hive表在hdfs中的位置
在 hive 环境下使用命令:hive> show databases; # 查看所有的数据库OKappdevhive> use dev; # 选择dev数据库OKhive> show create table test_table; # 打印创建表的sql语句sql语句中有一项为 LOCATION,即为此表在 hdfs 中的位置,如:LOCATI...原创 2018-06-11 15:49:45 · 29634 阅读 · 1 评论 -
hive 中时间戳与时间字符串的相互转换
时间戳是数据库常用的存放日期的形式之一,表示从 UTC 时间’1970-01-01 00:00:00’开始到现在的秒数,与常规时间格式如 ‘2018-01-01 00:00:00’可以相互转换,方法如下。一、unix_timestamp 函数用法1、unix_timestamp() 返回当前时间戳。另外,current_timestamp() 也有同样作用。hive> selec...原创 2018-06-29 11:48:30 · 91320 阅读 · 0 评论 -
ElasticSearch语法——增删改查
以下都是在linux的shell环境中的命令。tips将pretty作为url的参数,可以使其以美观的形式打印出JSON响应(如果有的话)1. 插入数据curl -XPUT 11.11.11.11:30000/test_index/product/1 -d '{"brand_name" : "华为","product_name" : "华为Mate10"}'我们...原创 2018-07-23 18:45:59 · 7659 阅读 · 3 评论 -
hadoop 的 linux shell 命令
转自hadoop文档 FS Shell使用指南。FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和auth...转载 2018-12-13 10:49:06 · 511 阅读 · 0 评论 -
将本地文件导入到Hive表中(支持 TEXTFILE 、ORC 等存储格式)
1、hive表格式为TEXTFILE由于 TEXTFILE 格式没有对数据进行压缩,因此直接 load 即可。假设本地有一个文件 test_person.txt,内容为:Gong 24Tian 23想要将其导入到 TEXTFILE 格式的 tmp_test_person_txt 表内,步骤如下:1.1、创建目标表,格式为 TEXTFILE在 hive 命令行下,输入建表语句:hi...原创 2019-05-13 18:24:49 · 10541 阅读 · 1 评论