Hive
Hive相关
zhouyanjun_
一直在学习。。。
展开
-
hive sql自动生成自增id;随机id
自增id原创 2023-02-13 15:15:11 · 578 阅读 · 0 评论 -
通过jdbc连接hive报java.sql.SQLException: Method not supported问题
jdbc连接hive原创 2022-12-29 12:37:55 · 632 阅读 · 0 评论 -
Spark job failed during runtime. Please check stacktrace for the root cause.报错解释
select mid_id, dt, date_diff, count(*)over(partition by mid_id,date_diff) diff_countfrom ( select mid_id, dt, date_add(dt, -rk) date_diff from ( select mid_id, dt,原创 2020-10-19 23:43:44 · 4618 阅读 · 0 评论 -
mysql中双引号和单引号有什么区别
mysql中双引号和单引号有什么区别前2天看到有人问,mysql中双引号和单引号有什么区别?我就直接po代码和截图了,如下select * from employees where last_name = ‘K_ing’;select * from employees where last_name = “K_ing”;由此可见,mysql中,其实单引号和双引号没啥区别,单引号和双引号都可以表示字符串mysql的别名可以不加引号,如果加引号,单引号和双引号以及反引号都可以原创 2020-10-12 22:24:57 · 4469 阅读 · 0 评论 -
hive服务启动的几种方式
hive的两种后台服务,到底是干什么的hive是hadoop的客户端,所以第一步是启动hadoop集群。hive连元数据有两种方式连接。第一种是直连,就是直接去mysql的metastore库里去连接。另一种通过服务去连接,hive有个服务叫metastore,还有一个服务叫hiveserver2。hive去启动metastore服务,然后服务去连接mysql,找到元数据。怎么控制hive连接元数据的方式呢?就看hive-site.xml配置文件里是否有hive.metastore.uris原创 2020-10-11 12:29:56 · 4745 阅读 · 0 评论 -
一、DQL(Data Query Language):数据查询语言。
一、DQL(Data Query Language):数据查询语言。进阶1:基础查询语法:SELECT 要查询的东西【FROM 表名】;类似于Java中 :System.out.println(要打印的东西);特点:①通过select查询完的结果 ,是一个虚拟的表格,不是真实存在② 要查询的东西 可以是常量值、可以是表达式、可以是字段、可以是函数进阶2:条件查询条件查询:根据条件过滤原始表的数据,查询到想要的数据语法:select要查询的字段|表达式|常量值|函数from表原创 2020-08-07 13:00:05 · 436 阅读 · 0 评论 -
02_MySQL基础笔记
02_MySQL笔记解决SQL步骤(刘优):最基础的基表, from考虑一张表的数据够不够, 如果不够进行连接 join再考虑是外还是内, 如果是外还得考虑保证哪张表完整有join必须要有on是否需要对当前的大基表进行基础的行过滤. where是否需要分组, 分组依据的列是什么. group by如果有分组,第一时间,把分组的列放在 select 后面, 并同时继续分析要选择哪些列或统计运算.是否要再对分组结果进行进一步过滤, 如果需要使用having是否需要排序, 如果需要使用or原创 2020-08-07 12:50:21 · 109 阅读 · 0 评论 -
sql执行顺序
1)SQL的书写顺序SELECT- DISTINCT- FROM- JOIN ON- WHERE- GROUP BY- HIVING- ORDER BY- LIMIT2)真正执行的顺序:随着Mysql版本的更新换代,其优化器也在不断的升级,优化器会分析不同执行顺序产生的性能消耗不同而动态调整执行顺序。下面是经常出现的查询顺序:FROM- ON- JOIN- WHERE- GROUP BY- HAVING- SELECT- DISTINCT- ORDER BY- LIMIT3)外连接外连接确定主从原创 2020-09-18 23:05:15 · 118 阅读 · 0 评论 -
数据清洗
数据清洗一、背景-- 1. 清洗的原因: 在数仓项目中,数据经常不是我们想要的,数据可能存在不完整的情况,或有一些null,或者格式不对,那么我们需要对数据进行清洗。-- 2. 本案例的事件: --用户数据: '一条数据' barelypolitical 151 5106 '每个字段代表的含义' uploader:barelypolitical videos: 151 friends: 5106 --v原创 2020-09-18 23:03:29 · 655 阅读 · 0 评论 -
SQL开发
SQL开发第1章:SQL概述SQL:Structured Query Language结构化查询语言,它是使用关系模型的数据库应用语言,由IBM上世纪70年代开发出来。后由美国国家标准局(ANSI)开始着手制定SQL标准,先后有SQL-86,SQL-89,SQL-92,SQL-99等标准。1. SQL的语言规范mysql对于SQL语句不区分大小写,SQL语句关键字尽量大写SQL 可以写在一行或者多行。为了提高可读性,各子句分行写,必要时使用缩进关键字不能被缩写也不能分行值,除了数值型,字符原创 2020-09-18 23:02:07 · 1691 阅读 · 0 评论 -
MySQL数据库
typora-root-url: MySQL数据库.assetsMySQL数据库一、为什么要使用数据库持久化(persistence):把数据保存到可掉电式存储设备中以供之后使用。大多数情况下,特别是企业级应用,数据持久化意味着将内存中的数据保存到硬盘上加以”固化”,而持久化的实现过程大多通过各种关系数据库来完成。持久化的主要作用是将内存中的数据存储在关系型数据库中,当然也可以存储在磁盘文件、XML数据文件中。二、什么是数据库2.1 数据库的相关概念DB:数据库(Datab.原创 2020-09-18 23:01:27 · 692 阅读 · 0 评论 -
Hive自定义函数
Hive自定义函数一、概述--1. 在hive中有三种自定义函数:1. UDF :一进一出 --一行变一行2. UDTF : 一进多出 -- 一行变多行3. UDAF :多进一出 -- 多行变一行-- 2. 实现步骤: a、进入函数的是什么参数 b、希望得到什么结果 c、考虑通用性二、UDTF函数2.1 UDTF解析-- 1. 说明A custom UDTF can be created by extending the GenericUDTF abstr原创 2020-09-18 23:00:44 · 811 阅读 · 0 评论 -
Hive 总结
Hive 总结总结人:周彦君0.补充0.1 什么是hive1. Hive:由Facebook开源用于解决'海量结构化日志'的数据统计'工具'。2. Hive是基于Hadoop的一个'数据仓库工具',可以将结构化的数据文件'映射'为一张表,并提供类SQL查询功能。3. '本质':将HQL转化成MapReduce程序4. '原理介绍' (1)Hive处理的数据存储在HDFS (2)Hive分析数据底层的实现是MapReduce (3)执行程序运行在Yarn上0.2 优原创 2020-09-18 22:54:09 · 637 阅读 · 0 评论