kcy000-CSDN博客

原创 hive的窗口函数

窗口函数窗口函数也称为OLAP。OLAP 是OnLine AnalyticalProcessing 的简称，意思是对数据库数据进行实时分析处理。为了便于理解，称之为窗口函数。常规的SELECT语句都是对整张表进行查询，而窗口函数可以让我们有选择的去某一部分数据进行汇总、计算和排序。窗口函数的通用形式：<窗口函数> OVER ([PARTITION BY <列名>] ORDER BY <排序用列名>) ]中的内容可以省

2021-05-30 23:27:40 254 2

原创 hive的索引

索引关系型数据库中的索引：在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。一般是建立在建上的。hive中的索引功能是有限的，hive中没有关系数据库中的建的概念，但是还是可以对某一些字段建立索引。Hive索引的目标是提高对表的某些列进行查询查找的速度。如果没有索引，则使用类似于“WHERE tab1.col1

2021-05-30 23:24:35 8649

原创 hive的视图

视图视图是一个虚拟的表，不同于直接操作数据表，视图是依据SELECT语句来创建的（会在下面具体介绍），所以操作视图时会根据创建视图的SELECT语句生成一张虚拟表，然后在这张虚拟表上做SQL操作。1.为什么会存在视图那既然已经有数据表了，为什么还需要视图呢？主要有以下几点原因：通过定义视图可以将频繁使用的SELECT语句保存以提高效率。通过定义视图可以使用户看到的数据更加清晰。通过定义视图可以不对外公开数据表全部字段，增强数据的保密性。通过定义视图可以降低数据的冗余。2.如何创建视图说

2021-05-30 23:22:01 6956

原创 hive的jion操作

连结(JOIN)为了演示，我们在创建一张表CREATE TABLE hive_4_shop_product(shop_id string, shop_name string, product_id string, quantity int);INSERT INTO hive_4_shop_product (shop_id, shop_name, product_id, quantity) VALUES ('000A', '东京', '0001', 30),('000A',

2021-05-30 23:15:43 193

原创 hive的集合运算

hive的集合运算导入数据创建两个表CREATE TABLE hive_4_product_1( product_id string, product_name string, product_type string, sale_price double, purchase_price double, regist_date string ); CREATE TABLE hive_4_product_2( product_id

2021-05-30 23:10:42 1886

原创 hive数据的普通查询

数据的查询加载部门数据部门表，第一字段代表部门编号，第二个字段代表部门名称，第三个字段代表部门人数。create table table_4_dept_select( deptNo int, deptName String, deptCount int)row format delimited fields terminated by '\t'lines terminated by '\n';加载数据load data local inpath '/opt/data/hive/

2021-05-30 23:05:04 567

原创 hive数据的导入导出

数据的导入导出1.数据的导入1 load语法：load data [local] inpath '数据的 path' [overwrite] into tabletable_name [partition (partcol1=val1,…)];（1）load data:表示加载数据（2）local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive 表（3）inpath:表示加载数据的路径（4）overwrite:表示覆盖表中已有数据，否则表示追加（5）into

2021-05-30 23:02:14 787

原创 hive表的创建已经增删改

数据库表的操作1创建表hive创建表的语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment][PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...)[S

2021-05-30 22:57:02 502

原创 docker容器的资源配额控制

docker 通过cgroup来控制容器的资源配额，其中包括CPU、内存、磁盘。cgroup 是control groups 的缩写，是linux内核提供的一种可以限制、记录、隔离进程所使用的物理资源。cgroup本身是提供将将进程进行分组化管理的功能和接口的基础结构，I/O或者内存的分配控制等具体的资源管理功能。为什么要进行硬件配额？当多个容器运行时，防止某个容器把所有的硬件都占用。指定容器可以使用的CPU份额docker run -c,--cpu-shares ndocker run -i

2021-05-27 16:04:40 638

原创 docker的基本命令

docker的基本命令查看docker的版本docker --version查看docker 的信息docker info主要的信息有，当前有多少container，其中运行的，停止有多少；有多少个images；当前docker的版本；docker安装所有的操作系统信息；docker root dir:指当前docker的文件在当前系统的什么位置；registery ：当前的仓库地址搜索imagesdocker search 镜像名docker search centos

2021-05-26 21:51:24 111

原创天池龙珠计划SQL训练营_10道经典题目解答

本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；1.第一题对三个表进行joinselect is2.TICKER_SYMBOL , is2.END_DATE , is2.T_REVENUE, is2.T_COGS, is2.N_INCOME, md.TICKER_SYMBOL, md.END_DATE, md.CLOSE_PRICE, co.TICKER_SYMB

2021-05-26 15:41:43 194

翻译初识数据库与SQL

本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；1.安装1.1阿里云MySQL服务器使用介绍节约篇幅，具体相关介绍以及给大家写到pdf里了，大家点击链接即可进入查看：http://tianchi-media.oss-cn-beijing.aliyuncs.com/dragonball/SQL/other/阿里云MySQL服务器使用介绍.pdf优点：操作使用方便，未来趋势（数据上

2021-05-23 13:18:57 81

原创 hive的数据类型

1 基本数据类型Hive 数据类型Java 数据类型长度例子TINYINTbyte1byte 有符号整数20SMALINTshort2byte 有符号整数20INTint4byte 有符号整数20BIGINTlong8byte 有符号整数20BOOLEANboolean布尔类型，true 或者 falseTRUE FALSEFLOATfloat单精度浮点数3.14159DOUBLEdoubl

2021-05-09 19:33:37 684

原创 hive数据库的操作

1创建数据库语法create database 数据库名如果存在同名的数据库，会报错，所以可以添加 if not exists 来进行判断create database if not exists 数据库名指定存储路径数据库创建后默认会把数据库存在在hdfs上。默认的位置在hive的配置文件hive-site.xml中的hive.metastore.warehouse.dir 进行设置。如果不想存在在这个位置。可用使用locationg进行指定。create database 数据库名

2021-05-09 19:30:03 803

原创 hive cli表头和当前数据库的配置

设置当前库和表头如果我们不设置库和表头，显示出来的效果是这样的在hive-site.xml中设置显示库和表头，添加<property> <name>hive.cli.print.header</name> <value>true</value></property><property> <name>hive.cli.print.current.db</name&gt

2021-03-21 20:58:06 216

原创 hive 的日志位置配置

Hive 运行日志信息配置Hive 的 log 默认存放在/tmp/用户名/hive.log 下面如果要修改hive.log的日志位置则需要做一下两个步骤（1）修改在hive/conf/hive-log4j2.properties.template 文件名称为hive-log4j2.propertiesmv hive-log4j2.properties.template hive-log4j2.properties（2）在 hive-log4j2.properties 文件中修改 lo

2021-03-21 20:55:26 2755

原创 hive常用的交互命令

1 hive的交互命令hive 作为一个可执行脚本，一同提供了8个可选择的参数，其中hive -help 可显示其他7个脚本的用法。usage: hive -d,--define <key=value> Variable substitution to apply to Hive commands. e.g. -d A=B or --define A=B --database <dat

2021-03-21 20:31:00 373

原创 Hive 3 连接可视化工具Dbeaver

Hive 3 连接可视化工具Dbeaver1. Dbeaver的下载2.Hive3 的beeline连接2.1 beeline方式访问hive3.Dbeaver连接hive1. Dbeaver的下载Dbeaver下载地址。下载后傻瓜式安装或者解压即可。2.Hive3 的beeline连接hive除了可以使用cli命令行进行操作，还可以使用beeline的方式，和Web UI的方式进行访问,如下图所示。cli主要针对本地运行模式，使用启动bin/hive就可以使用；beeline方式主要针对远程访问

2021-03-21 15:46:00 2737

qq_28266137的博客