![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 79
Ayanha
这个作者很懒,什么都没留下…
展开
-
DML数据操作
一、数据导入 hive到hdfs load data local inpath ‘路径/文件’ [overwrite] into table table_name [partition(column=value,…)] 从本地文件系统(hive所在服务器的本地)导入数据到hive表。hive表存储在hdfs上,所以数据就导入到hive所在的hdfs的存储路径 hdfs到hdfs load data inpath ‘路径/文件’ [overwrite] into table table_name [part原创 2021-02-09 15:39:02 · 277 阅读 · 0 评论 -
hive部署
当配置完以后,hive连接不上,且出现如下报错时,说明hive的lib路径下没有mysql-connector的jar包。(由于我之前已经把mysql-connector的tar包放到/opt/app/hive/lib下了,但是jar包在tar包中,没有直接放在lib下,所以我只是把jar包移出到lib下就好了)mysql中的user表记录了用户信息,里边记录了用户、可登陆主机、密码等信息,我们需要把主机改成通配符,使任何主机都可以登录mysql库。在/opt/app/hive/conf/下新建。原创 2021-02-08 00:26:58 · 21 阅读 · 0 评论 -
窗口函数
一、部分常用函数 NVL(字段,value):字段为空则赋值 value date_format(‘时间’,‘yyyy-MM-dd HH:mm:ss’) 只能设置时间类型的字段的格式(2020/01/02这种不算时间类型,就不能用date_format设置格式) date_add(‘时间’,天数):时间加天数后的时间 date_sub(‘时间’,天数):时间减天数后的时间 datediff(‘时间1’,‘时间2’):时间1-时间2的天数 regexp_replace(value,‘value1’,‘val原创 2021-02-07 18:08:43 · 152 阅读 · 0 评论 -
DDL数据定义
一、库常用操作 数据库在hdfs上的默认路径:hdfs://机器名:端口/user/hive/warehouse/*.db 建库:create database if not exists 库 建库并指定路径:create database if not exists 库 location ‘路径/库’ 用库:use 库 显示库:show databases like ‘关键字*’ 显示库详细信息:desc database 库 删空库:drop database if exists 库 删非空库:dro原创 2021-02-07 17:35:46 · 241 阅读 · 0 评论 -
行转列&列转行
行转列 concat(‘字符串’,‘字符串’):拼接 concat_ws(‘分隔符’,‘字符串’,‘字符串’):以分隔符拼接字符串,忽略为空的字符串,但若分隔符是null,则返回值也是null collect_set(字段):把字段值去重合并,转换成数组 --将name列的值转换为数组array select collect_set(name) from table_1 --将name列的值用-拼接起来 select concat_ws('-',collect_set(name)) from table原创 2021-02-07 17:20:56 · 676 阅读 · 0 评论 -
Hive_tips
Hive 是什么 基于Hadoop的数据仓库工具(管理不存储数据),将hdfs上的结构化数据映射成一张表,提供类sql查询功能 干什么 海量、结构化数据、查询计算 本质 把HQL转换成MapReduce程序 sql中的查询语句写成MapReduce模板封装在Hive中(数据仓库是通过sql进行统计分析的) Hive框架把用户写的sql匹配成相应的MapReduce程序 MapReduce程序运行并产生分析结果返回给用户 Hive注意点 Hive处理的数据存储在hdfs Hive分析数据底层的默认实现是原创 2021-02-05 17:55:38 · 119 阅读 · 0 评论