![](https://img-blog.csdnimg.cn/20210812190926688.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
HIVE
文章平均质量分 69
HIVE、Sqoop
小基基o_O
GitHub:https://github.com/AryeYellow
码云:https://gitee.com/arye
展开
-
HIVE内部表和外部表互转ALTER语法
HIVE内部表和外部表互转alter table tbl propertiesEXTERNAL_TABLE 外部表MANAGED_TABLE 内部表(管理表)原创 2022-08-01 14:30:12 · 717 阅读 · 0 评论 -
HIVE常用的字符串处理函数
截取,替换,正则表达式替换,拼接,分割,去除空格,大小写转换,长度,JSON解析,转MAP,原创 2022-06-24 21:36:29 · 597 阅读 · 0 评论 -
HIVE数据类型INT溢出,INT转BIGINT
查看HIVE版本INT转BIGINT数据类型转换INT溢出为负数原创 2022-04-09 15:01:14 · 3578 阅读 · 0 评论 -
批量查询HIVE所有表的大小和行数
需求:批量查询HIVE表的大小批量查询HIVE表的行数思路使用Python2单表查询HIVE表的大小和行数注意,大小并没有把副本计算在内DESC FORMATTED 库名.表名;原创 2022-03-19 23:32:08 · 13141 阅读 · 0 评论 -
Java、Hadoop、MySQL、HIVE一波流安装
CentOS7下装一波Java、Hadoop、MySQL、HIVE、SqoopCentOS7搭建离线数据仓库大数据安装centos安装hadoop1、网络配置2、集群间免密登录3、安装MySQL4、解压Java、Hadoop、HIVE、Sqoop5、环境变量6、Hadoop配置7、软件分发8、Hadoop集群启动9、HIVE和Sqoop原创 2021-01-06 14:41:05 · 322 阅读 · 0 评论 -
如何降低HIVE延时
文章目录1、场景2、配置:让HIVE运行在本地2.1、临时修改2.2、永久修改3、降低HIVE延时的第二种方法:4、补充1、场景学习过程中(就是数据量很少),HIVE(MapReduce)延时过高本文通过修改配置,降低HIVE(MapReduce)延时2、配置:让HIVE运行在本地2.1、临时修改SET hive.exec.mode.local.auto=true2.2、永久修改1、编辑配置文件vi $HIVE_HOME/conf/hive-site.xml2、加入性质<原创 2021-04-24 11:30:46 · 762 阅读 · 0 评论 -
大数据(3h)HIVE引擎更换
hive更换引擎为tezhive on tezhive引擎改tezmr引擎改为teztez速度tez延时原创 2021-01-12 21:17:02 · 2152 阅读 · 0 评论 -
大数据(3g)HIVE开窗函数应用场景(不定更)
文章目录1、回购周期2、TopN系列2.1、各地销量Top22.2、销量前33%3、运费分摊4、页面单跳转化率1、回购周期创建数据--删库、建库DROP DATABASE IF EXISTS trade CASCADE;CREATE DATABASE trade LOCATION '/trade';USE trade;--建表CREATE TABLE sales( ymd STRING COMMENT "日期", name STRING COMMENT "顾客",原创 2021-08-21 09:47:58 · 515 阅读 · 0 评论 -
HIVE去重及其应用之UV统计
HIVEuvpv数据分析sql去重原创 2021-10-20 20:51:04 · 702 阅读 · 1 评论 -
图解并行思想HIVE获取消费金额topN的用户ID
场景从10亿用户中 获取 消费前10000的 用户IDuidamount123.4827888.33…1000000000367.55错误方案SELECT uid FROM t ORDER BY amount DESC LIMIT 10000;并行思想可行方案SELECT uid,amount FROM (SELECTuid,amount,RANK() OVER (PARTITION BY uid % 50 ORDER BY amou原创 2021-09-09 01:09:03 · 314 阅读 · 0 评论 -
图解HIVE页面单跳转化率
原创首发图解创建数据分步1、拉链2、页面跳转分组计数3、页面访问分组计数4、联表图解创建数据--删库、建库DROP DATABASE IF EXISTS behavior CASCADE;CREATE DATABASE behavior LOCATION '/behavior';USE behavior;--建表CREATE TABLE pages(name STRING COMMENT "用户",hms TIMESTAMP COMMENT "时间",page ST原创 2021-04-27 15:24:11 · 369 阅读 · 1 评论 -
图解HIVE时间和日期and类型转换
时间戳现在今天昨天字符串秒数现在SELECT CURRENT_TIMESTAMP();current_dateunix_timestampFROM_UTC_TIMESTAMPGMT+8原创 2021-06-25 20:08:31 · 435 阅读 · 0 评论 -
HIVE处理JSON数据:GET_JSON_OBJECT、JSON_TUPLE、JSONFILE
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe' STORED AS TEXTFILESTORED AS JSONFILEGET_JSON_OBJECTJSON_TUPLEJSONFILEHIVE原创 2022-04-25 11:08:13 · 1814 阅读 · 2 评论 -
HIVE【WITH AS、子查询、视图】的区别
【子查询、with as、视图】3者的区别在MySQL中,with as和子查询差不多,新版本可以用with as但旧版本不行with as语法可读性更高在MySQL中,视图和子查询有巨大区别在HIVE中,【子查询、视图、with as】三者区别不大,都能嵌套本人使用HIVE对3种写法进行测试速度:视图最慢,但3者速度差几乎可以忽略不计表名能否重用:只有视图可以是否缓存:都不建议用with as和视图;表名需要重用就用视图,不重用则用with as原创 2021-04-27 09:57:27 · 1779 阅读 · 0 评论 -
图解HIVE开窗函数(Windowing functions小白进)
文章目录5、窗口函数5、窗口函数创建数据,需求:各地销量Top2--删库DROP DATABASE IF EXISTS fruit CASCADE;--建库CREATE DATABASE fruit LOCATION '/fruit';--建表CREATE TABLE fruit.sales(name STRING COMMENT "产品",city STRING COMMENT "城市",sale INT COMMENT "销量")COMMENT "水果销量表原创 2021-04-27 09:05:24 · 1434 阅读 · 0 评论 -
大数据(3e)HIVE基础查询
1、单行拆分为多行1.1、EXPLOOE1.2、LATERAL VIEW2、多行合并为单行3、函数4、时间类5、窗口函数6、聚合函数+条件1、单行拆分为多行1.1、EXPLOOESELECT EXPLODE(course) FROM school.student;1.2、LATERAL VIEWSELECT t1.s_id,t2.cFROM school.student t1LATERAL VIEW EXPLODE(course) t2 as c;2、多行合原创 2021-04-21 17:59:45 · 245 阅读 · 0 评论 -
HIVE分区,附图说明
多字段分区动态分区静态分区创建分区创建分区表修改分区ALTER分区原创 2021-10-15 22:19:35 · 516 阅读 · 0 评论 -
大数据(3d)HIVE基础操作
HIVE DDL进入HIVE模式,写SQL库操作查看有什么库SHOW DATABASES;建库CREATE DATABASE IF NOT EXISTS hjw_temp;查看指定库DESC hjw_temp;切换库USE hjw_temp;删库DROP DATABASE hjw_temp;强制删库(若数据库不为空)DROP DATABASE CASCADE;建表删表查询原创 2020-12-28 09:58:39 · 477 阅读 · 0 评论 -
大数据(3c)HIVE开启网络服务并使用IDEA连接
1、额外配置1.1、Hadoop1.2、HIVE2、服务启动命令3、启动脚本4、使用客户端连接到HIVE4.1、beeline客户端4.2、IDEA连接HIVE(重点!有截图!版本≥2019)1、额外配置1.1、Hadoopvi $HADOOP_HOME/etc/hadoop/core-site.xmlbeeline原创 2021-04-21 16:04:25 · 976 阅读 · 1 评论 -
大数据(3b)HIVE入门补充
HIVE默认配置默认配置文件所在位置常用默认参数HIVE执行MapReduce曾遇报错用户问题内存问题HIVE的三种执行方式HIVE中文注释乱码修改日志存储路径HIVE开启网络服务并使用IDEA连接hive --database原创 2021-04-21 17:46:58 · 315 阅读 · 0 评论 -
大数据(3a)HIVE安装
基于Hadoop的数据仓库工具将结构化的数据文件映射为数据库表,并提供SQL功能;能将SQL语句转变成MapReduce任务来执行场景:非实时 大量不可变数据 的 批处理作业(离线数仓)centos安装mysqlcentos7安装mysql5.7linux安装mysqlcentos7安装HIVElinux安装HIVEHIVE元数据配置到MySQL原创 2020-12-25 16:34:32 · 316 阅读 · 0 评论