![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
人生路且修且行
大数据开发,一起探讨一起进步吧
展开
-
Hive项目实践常用操作汇总(不断更新)
Hive1、分隔符前后字段截取Tips:mysql的3种字段截取;1、`SUBSTR(s, start, length)从字符串 s 的 start 位置截取长度为 length 的子字符串从字符串 RUNOOB 中的第 2 个位置截取 3个 字符:`SELECT SUBSTR("RUNOOB", 2, 3) AS ExtractString; -- UNO2、`SUBSTRING(s, start, length)从字符串 s 的 start 位置截取长度为 length 的子字符串从字符串原创 2020-11-12 09:08:48 · 744 阅读 · 0 评论 -
Hive--array<< struct >>字段结构查询
Hive库array<< struct >>字段结构查询建表相关语句: `sector_set` array<struct<gnb_id:int,cell_id:int,mr_count:bigint,rsrp_avg:double,sn:int,dist:int,cell_name:string>> COMMENT 'TOP5', `sector_set`字段数据表现形式:[{"gnb_id":7799206,"cell_id":2,"mr_co原创 2020-11-10 09:39:55 · 2630 阅读 · 0 评论 -
Hive--!= 和 <> 和 is not null区别和使用
!= 和 <> 和 is not null//不会查出字段是null的数据SELECT * FROM table WHERE IsDeleted <> true AND name LIKE '%%' ;SELECT * FROM table WHERE IsDeleted != true AND Name LIKE '%%';//可以查出字段是null的数据SELECT * FROM table WHERE IsDeleted is not true AND name L原创 2020-11-10 09:36:40 · 5346 阅读 · 0 评论 -
Hive--添加/更改表字段类型
Hive添加表字段新增字段表alter table 表名 add columns(字段名 数据类型)alter table table_name add columns (c_time string comment '当前时间');-- 正确,添加在最后alter table table_name change c_time c_time string after address; -- 正确,移动到指定位置,address字段的后面Hive更换已有表字段类型Hive 表修改字段类型原创 2020-11-10 09:32:13 · 10980 阅读 · 0 评论 -
Hive--清除/删除Hive表数据,where条件
清除Hive表数据hive删除表:drop table table_name;hive删除表中数据:truncate table table_name;hive按分区删除数据:alter table table_name drop partition (partition_name='分区名')全表: 1、删除内部表中数据(保留表结构) truncate table 表名; 2、删除外部表中数据(保留表结构) hdfs -dfs -rm -r 外部表路径 drop tabl原创 2020-11-10 09:29:56 · 15381 阅读 · 1 评论 -
Hive--OR-AND使用方法
OR-AND数据源: 1,22 1,21 2,22 1,20select * from id_age where (id=1 or id =2) and age=22;表示: 查询id=1,同时age=22或者id=2,同时age=22的数据,数据只要id=1或者id=2都要加age=22这个条件 即id=1 and age=22/id=2 and age=22显示结果: 1,22 2,22 select * from id_age where id=1 or id =2 an原创 2020-11-10 09:27:24 · 4338 阅读 · 1 评论 -
Hive--count(distinct)多字段问题
count(distinct)多字段问题select count(distinct(字段a | 字段b)) from 表名;原创 2020-11-09 17:37:56 · 1819 阅读 · 0 评论 -
Hive--数据从MySQL -> Hive
数据从MySQL -> Hive设计思路:1、从mysql表结构转hive表结构;2、从mysql导出表数据;3、将数据移至到hive的机器上;4、hive分区导入数据;5、导入错误时可删除HDFS路径上的数据源和删除错误数据的分区。这里字段间用的分隔符是|1、从mysql表结构转hive表结构;建表2、从mysql导出表数据;mysql -账号-p 密码 -e "select * from 表名 " | tr "\t" "|" >> /home/hadoop/sa原创 2020-11-09 17:31:07 · 147 阅读 · 0 评论 -
Hive--提交脚本参数选择
Hive提交脚本参数选择-hivevar : 传参数 ,专门提供给用户自定义变量。-hiveconf : 传参数,包括了hive-site.xml中配置的hive全局变量。1)hiveconfhiveconf用于定义HIVE执行上下文的属性(配置参数),可覆盖覆盖hive-site.xml(hive-default.xml)中的参数值,如用户执行目录、日志打印级别、执行队列等,常用的配置属性如下:参数名称 和 参数解释hive.metastore.warehouse.dir 启动时指定用户目录,原创 2020-11-09 17:24:46 · 626 阅读 · 0 评论 -
Hive--提交脚本步骤
Hive提交脚本步骤上面的hive.sql执行中会有三个参数,需要后期的变动,下面给出执行命令hive -f /root/sql/ruu1.sql --hivevar province_id=844 --hivevar daySelect=`date +%Y%m%d -d '-9 days'` --hivevar province_name='广东'hive -f /root/sql/ruu1.sql -d province_id=844 -d daySelect=`date +%Y%m%d -d原创 2020-11-09 17:22:47 · 896 阅读 · 0 评论 -
Hive--HDFS数据和本地数据导入hive表
1、HDFS数据导入Hive表以及表修复a.将数据传到HDFS#创建文件夹hadoop fs -mkdir -p /user/hive/warehouse/stg/test/bus_date=20191101 #将本地文件传到hive建表时的hdfs路径下hadoop fs -put /opt/datas/test.txt(要上传的文件) /user/hive/warehouse/stg/test/bus_date=20191101(上传的目标文件夹)tips: 若是需要将文件夹数据全部导入原创 2020-11-09 17:16:52 · 5008 阅读 · 0 评论 -
Hive--建表以及表字段分隔符
Hive建表以及表字段分隔符Tips: 1.最后一个字段不需要加逗号; 2.external 是外部表的标志,不加关键字则是内部表,外部表删不掉数据。一般做测试表的话建议建内部表,删除方便; 3.分区字段 partition by('XXXX' TYPE,'OOOO' TYPE...)不能出现在创建表时的字段中,换句话说,分区字段字段也是新的字段,在别的表中用的时候和普通字段使用方法是一样的;建表语句示例:CREATE external TABLE `table1`( `name` str原创 2020-11-09 17:12:58 · 3674 阅读 · 0 评论 -
Hive函数、压缩存储、调优汇总、权限管理
Hive函数、压缩存储、调优、权限一、函数1 系统内置函数显示自带函数的用法 desc function 函数名;详细显示自带函数的用法 desc function extended 函数名;2 自定义函数1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展2)当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以...原创 2019-08-28 21:11:56 · 348 阅读 · 0 评论 -
Hive分桶、动态分区、查询汇总、窗口函详解、视图索引、运行方式
Hive分桶、动态分区、查询、视图索引一、Hive参数hive当中的参数、变量,都是以命名空间开头通过${}方式进行引用,其中system、env下的变量必须以前缀开头命名空间读写权限含义hiveconf可读写hive-site.xml当中的各配置变量 例:hive --hiveconf hive.cli.print.header=truesyste...原创 2019-08-28 21:05:03 · 3036 阅读 · 0 评论 -
Hive简介、DDL操作(建表、分区、导入导出等)
Hive分析框架一、Hive简述Hive 建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析与管理Hive架构的核心/本质 --将数据通过SQL语句转换成MapReduce操作/转成hdfs操作数据仓库 --主要用来分析和管理数据,一般是查询操作,需要定期加载和刷新数据元数据Metastore(表字段定义,属性,存放位置等除本身数据之外的信息)存...原创 2019-08-28 21:00:59 · 1099 阅读 · 0 评论 -
HIVE权限管理和优化
大数据第22天-HIVE权限管理和优化权限管理三种授权模型:1、Storage Based Authorization in the Metastore Server 基于存储的授权 - 可以对Metastore中的元数据进行保护,但是没有提供更加细粒度的访问控制(例如:列级别、行级别)。2、SQL Standards Based Authorization in HiveServer...原创 2019-06-30 17:50:34 · 520 阅读 · 0 评论 -
HIVE分桶、动态分区、LATERAL VIEW 视图索引、GUI安装
大数据第21天一、hive参数hive当中的参数、变量,都是以命名空间开头通过${}方式进行引用,其中system、env下的变量必须以前缀开头命名空间读写权限含义hiveconf可读写hive-site.xml当中的各配置变量 例:hive --hiveconf hive.cli.print.header=truesystem可读写系统变量,包...原创 2019-06-29 10:00:43 · 352 阅读 · 0 评论 -
(补)HIVE安装
HIVE安装单用户模式搭建1 解压2 修改hive-site.xml hive.metastore.warehouse.dir /user/hive_remote/warehouse hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql:...原创 2019-06-29 09:59:50 · 148 阅读 · 0 评论 -
初识Hive
大数据第20天-HiveHive 一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析与管理Hive架构的核心 --将数据通过SQL语句转换成MapReduce操作/转成hdfs操作数据仓库 --主要用来分析和管理数据,一般是查询操作,需要定期加载和刷新数据元数据Metastore(表字段定义,属性,存放位置等除本身数据之外的信息)存储在关系型数据库(...原创 2019-06-28 08:58:26 · 292 阅读 · 0 评论