数据仓库Hive

最新推荐文章于 2024-04-11 19:33:24 发布
最新推荐文章于 2024-04-11 19:33:24 发布
阅读量2.2k 收藏 13
点赞数 2
分类专栏： 大数据 文章标签： 大数据 hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_xuanshuang/article/details/117364274
版权

目录

Hive概述

产生背景

Hive是什么

为什么要使用Hive

Hive在Hadoop生态圈中的位置

Hive体系架构

Hive部署架构

Hive和RDBMS的区别

Hive部署

HIve DDL

数据库操作

表操作

Hive DML

创建表

加载数据到hive

基本统计

聚合

分组函数

join

执行计划

关于外部表和内部表

Hive shell一些小命令

Hive概述

产生背景

  • MapReduce编程的不便性
  • 传统RDBMS人员的需求
    • HDFS上的文件并没有schema的概念

Hive是什么

  • 由Facebook开源，用于解决海量结构化日志的数据统计问题
  • 构建在Hadoop之上的数据仓库（可以理解为数据存在在HDFS，可以通过MapReduce进行计算，提交在YARN上运行的）
  • Hive提供的SQL查询语言：HQL
  • 底层支持多种不同的执行引擎（MR/Tez/Spark，Hive构建在Hadoop之上，底层应该是MapReduce的执行引擎，MapReduce适合离线处理，执行效率不是很高， Hive从诞生之初到1.x都是支持MapReduce的，Hive2.x开始底层的默认执行引擎是Spark）

为什么要使用Hive

  • 简单、容易上手
  • 为超大数据集设计的计算/扩展能力
  • 统一的元数据管理
    • Hive数据存放在HDFS上
    • 元数据信息（记录数据的数据，例如一个表，表的名字、字段、字段的类型、数据存放在HDFS的啥位置）是存放在MySQL中
    • SQL on Hadoop：Hive、Spark SQL、impala...，即在Hive里面创建一张表，在Spark SQL和impala可以直接使用，反之亦然，元数据管理是单独抽取的部分，后续想更换框架会很方便

Hive在Hadoop生态圈中的位置

Hive体系架构

把SQL翻译成MapReduce，跑在Hadoop之上，在使用查询和管理的过程中可能会涉及到一些表一些数据库，因为Hive是基于表来操作的，这些表和数据库都是作为元数据信息存放在Metastore里面的，这个Metastore是存放在MySQL里面的。

  • client：
    • shell
    •  thrift/jdbc（server/jdbc的方式，一种协议，相当于把hive启成一种服务，通过jdbc的方式往这个服务上提交查询或SQL）
    • WebUI（HUE/Zeppelin），提供Web界面，在Web界面上直接写SQL，统计结果可以以图形化的方式直接展示出来
  • metastore ==> MySQL
    • database：name、location、owner....
    • table：name、location、owner、column name / type、....
  • Driver
    • SQL语句是一个普通的字符串而已，如何让这个字符串被Hive识别？先将SQL编译成一个语法树（SQL Parser），基于这个语法树可以做很多的优化（Query Optimizer），取出最优的执行计划生成物理执行计划（Physical Plan），在物理执行计划过程中，可能有一些序列化与反序列化以及UDF（UDF：用户自己定义的一些函数），物理执行计划会生成一个Execution，在Execution下面会生成MapReduce作业。

Hive部署架构

Hive是一个客户端，不涉及集群的概念，需要在哪个机器上使用Hive操作，直接在哪台机器上布上 Hive的软件包就行了

Hive和RDBMS的区别

  • 支持的
    • 都支持SQL
    • 都支持insert和update，只不过大数据不太建议insert和update，因为性能比较低
    • 都支持分布式（集群），不过MySQL的集群比较小，而且是构建在专用的机器上的，成本昂贵；Hive是基于Hadoop之上的，Hadoop可以拥有成千上万个节点，且是构建在廉价的机器之上的。
  • 区别的
    • Hive HQL 和关系型数据库的SQL非常类似，但他们有本质区别，他俩只是长得像，并没有关系
    • 对于查询而言，关系型数据库延时较低，时效性高；Hive 基于Hadoop之上的，作业要通过SQL转换成MapReduce作业或者Spark作业，然后提交到集群上运行，跑出结果可能要很久
    • MySQL处理PB级数据已经很厉害了，但是对于Hive来说PB不算大。

Hive部署

我用的是mac，下载hive-1.1.0-cdh5.15.1.tar.gz，因为之前Hadoop选择的版本是hadoop-2.6.0-cdh5.15.1，所以hive也必须选择cdh5.15.1，这边的mysql下载的是5.6.40，mysql直接下载的dmg格式，直接一路点点点。

  1. 下载 & 解压
  2. 添加HIVE_HOME到系统的环境变量，在source一下，打开的多个控制台都要source一下，否则在以前打开的控制台上不生效
  3. 修改配置

    1. hive-env.sh

      1. HADOOP_HOME：若添加到系统环境变量，通常不需要配，不过配一下也没事

    2. hive-site.xml

      1. 需要配置元数据存储的地方，所以这边只需要配置一些MySQL的信息

  4. 拷贝MySQL驱动包到$HIVE_HOME/lib下

  5. 前提是要准备安装一个MySQL数据库，yum install 去安装一个MySQL数据库

hive-site.xml的配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <!-- hadoop所在服务器的别名，3306mysql的端口 -->
  <value>jdbc:mysql://hadoop000:3306/hadoop_hive?createDatabaseIfNotExist=true</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value> <!-- 驱动 -->
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value> <!-- mysql用户名 -->
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123456</value> <!-- mysql用户名对应的密码 -->
</property>
</configuration>

HIve DDL

数据库操作

DDL：Hive Data Definition Language【create、delete、alter...】

Hive数据抽象/结构：

  • database                              HDFS一个目录
    • table                              HDFS一个目录
      • data                        HDFS一个文件
      • partition 分区表      HDFS一个目录
        • data                 HDFS一个文件
        • bucket 分桶     HDFS一个文件

HiveQL DDL statements are documented here, including:

  • CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEX
  • DROP DATABASE/SCHEMA, TABLE, VIEW, INDEX
  • TRUNCATE TABLE
  • ALTER DATABASE/SCHEMA, TABLE, VIEW
  • MSCK REPAIR TABLE (or ALTER TABLE RECOVER PARTITIONS)
  • SHOW DATABASES/SCHEMAS, TABLES, TBLPROPERTIES, VIEWS, PARTITIONS, FUNCTIONS, INDEX[ES], COLUMNS, CREATE TABLE
  • DESCRIBE DATABASE/SCHEMA, table_name, view_name, materialized_view_name

PARTITION statements are usually options of TABLE statements, except for SHOW PARTITIONS.

命令：create database

[]：中括号里面可选， |：多选一

CREATE [REMOTE] (DATABASE|SCHEMA) [IF NOT EXISTS] database_name

  [COMMENT database_comment]    // 加一个注释

  [LOCATION hdfs_path]          // hdfs上一个目录

  [MANAGEDLOCATION hdfs_path]

  [WITH DBPROPERTIES (property_name=property_value, ...)];

CREATE DATABASE IF NOT EXISTS hive; // 通常会加上IF NOT EXISTS

CREATE DATABASE IF NOT EXISTS hive2 LOCATION '/test/location'; // 更改路径

CREATE DATABASE IF NOT EXISTS hive3 WITH DBPROPERTIES ("creator"="hh");

/user/hive/warehouse：这个是HIve默认的存储在HDFS上的路径，这个路径是可以更改的。

举个🌰

hive> show databases;

OK

default

hive

hive2

test_db

Time taken: 0.036 seconds, Fetched: 4 row(s)

hive里面也可以查看对应的hdfs路径：

hive > show create table emp;

在hive中一共有三个数据库，我们去MySQL上看一下哈，hadoop_hive这个数据库是我们在hive-site.xml里面配置的

mysql> use hadoop_hive;

Database changed

mysql> select * from DBS \G;

*************************** 1. row ***************************

          DB_ID: 1

           DESC: Default Hive database

DB_LOCATION_URI: hdfs://localhost:8020/user/hive/warehouse

           NAME: default

     OWNER_NAME: public

     OWNER_TYPE: ROLE

*************************** 2. row ***************************

          DB_ID: 2

           DESC: NULL

DB_LOCATION_URI: hdfs://localhost:8020/user/hive/warehouse/test_db.db

           NAME: test_db

     OWNER_NAME: dinghui

     OWNER_TYPE: USER

*************************** 3. row ***************************

          DB_ID: 3

           DESC: NULL

DB_LOCATION_URI: hdfs://localhost:8020/user/hive/warehouse/hive.db

           NAME: hive

     OWNER_NAME: dinghui

     OWNER_TYPE: USER

*************************** 4. row ***************************

          DB_ID: 4

           DESC: NULL

DB_LOCATION_URI: hdfs://localhost:8020/test/location

           NAME: hive2

     OWNER_NAME: dinghui

     OWNER_TYPE: USER

4 rows in set (0.00 sec)

ERROR: 

No query specified

我们来看看("creator"="hh")这个的显示：desc database extended hive3;

hive> desc database extended hive3;

OK

hive3 hdfs://localhost:8020/user/hive/warehouse/hive3.db hh USER {creator=hh}

Time taken: 0.034 seconds, Fetched: 1 row(s)

hive> desc database extended hive2;

OK

hive2 hdfs://localhost:8020/test/location dinghui USER

hive> desc database hive3;

OK

hive3 hdfs://localhost:8020/user/hive/warehouse/hive3.db dinghui USER

在控制台上显示现在操作的数据库

hive> set hive.cli.print.current.db;

hive.cli.print.current.db=false

hive> set hive.cli.print.current.db=true;

hive (test_db)> !clear // 清除屏幕上的显示

删除数据库

drop database test_db; // 若test_db中没有表，执行该语句会成功删掉test_db库；若里面有表，则不能，此时若还想删除，可以添加CASCADE，则无论有没有表都可以删掉该数据库，有表的话，连带表一起删除，要慎用，尤其生产环境，保险起见还是一张表一张表的删比较好。

hive (test_db)> drop database test_db;

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database test_db is not empty. One or more tables exist.)

hive (test_db)> drop database test_db CASCADE;

hive (test_db)> show databases;

default

hive

hive2

like的用法

hive (test_db)> show databases;

default

hive

hive2

hive (test_db)> show databases like "hive*";

hive

hive2

表操作

命令：

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name    -- (Note: TEMPORARY available in Hive 0.14.0 and later)

  [(col_name data_type [column_constraint_specification] [COMMENT col_comment], ... [constraint_specification])]

  [COMMENT table_comment]

  [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]

  [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]

  [SKEWED BY (col_name, col_name, ...)                  -- (Note: Available in Hive 0.10.0 and later)]

     ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)

     [STORED AS DIRECTORIES]

  [

   [ROW FORMAT row_format] 

   [STORED AS file_format]

     | STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]  -- (Note: Available in Hive 0.6.0 and later)

  ]

  [LOCATION hdfs_path]

  [TBLPROPERTIES (property_name=property_value, ...)]   -- (Note: Available in Hive 0.6.0 and later)

  [AS select_statement];   -- (Note: Available in Hive 0.5.0 and later; not supported for external tables)

创建表

CREATE TABLE emp(
empno int,
ename string,
job string,
mgr int, 
hiredate string,
sal double,
comm double,
deptno int
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

查看表结构，此处可以看到字段名、类型
hive (default)> desc emp;
显示详细信息，但是显示不够人性化，所以通常不用
desc extended emp;
通常用这条命令，现实详细信息
desc formatted emp;

将数据导入hive表
LOAD DATA LOCAL INPATH '/Users/dinghui/data/emp.txt' OVERWRITE INTO TABLE emp;
    /user/hive/warehouse/emp/emp.txt

ALTER TABLE emp RENAME TO emp2;
    /user/hive/warehouse/emp2/emp.txt

我们对表改名，体现在hdfs的目录上，下面的数据文件emp.txt的名字不受影响，因为表名对应其上一级的文件名。

Hive DML

DML：Data Manipulation Language

创建表

   CREATE TABLE emp(
    empno int,
    ename string,
    job string,
    mgr int, 
    hiredate string,
    sal double,
    comm double,
    deptno int
    ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

    查看表结构，此处可以看到字段名、类型
    hive (default)> desc emp;
    显示详细信息，但是显示不够人性化，所以通常不用
    desc extended emp;
    通常用这条命令，现实详细信息
    desc formatted emp;

加载数据到hive

    LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

    LOAD DATA LOCAL INPATH '/Users/dinghui/data/emp.txt' OVERWRITE INTO TABLE emp;
        /user/hive/warehouse/emp/emp.txt

    ALTER TABLE emp RENAME TO emp2;
        /user/hive/warehouse/emp2/emp.txt


    LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename 
    [PARTITION (partcol1=val1, partcol2=val2 ...)]
    LOCAL: 本地系统，若没有LOCAL就是指HDFS路径
    OVERWRITE：是否数据覆盖，若没有就是数据追加
    // hive下使用load data:load data inpath ‘hdfs://hadoop000:8020/data/emp.txt’ into table emp;/data目录下的emp.txt就没了
    // 这个其实是一个移动的过程，把data下的移动到你的hive表的目录下面去了
    LOAD DATA INPATH 'hdfs://localhost:8020/data/emp.txt'  INTO TABLE emp;
    LOAD DATA INPATH 'hdfs://localhost:8020/data/emp.txt' OVERWRITE INTO TABLE emp;

     从下面我们可以看出，表格对应目录，表格中的内容对应目录下的文件，查询的时候table名对应目录名，和里面的文件名木有任何关系。

    create table emp1 as select * from emp;
        /user/hive/warehouse/emp1/000000_0
    create table emp2 as select empno, ename from emp;
        /user/hive/warehouse/emp2/000000_0


    INSERT OVERWRITE [LOCAL] DIRECTORY directory1
      [ROW FORMAT row_format] [STORED AS file_format] (Note: Only available starting with Hive 0.11.0)
      SELECT ... FROM ...
    // 若没有hive目录会创建，若存在hive目录，且hive目录非空，则会覆盖，即之前hive目录下的文件全部被删除 
    INSERT OVERWRITE LOCAL DIRECTORY '/Users/dinghui/MyTmp/hive/' 
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
    select empno, ename, sal, deptno from emp;
    INSERT OVERWRITE LOCAL DIRECTORY '/Users/dinghui/MyTmp/' 
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
    select empno, ename, sal, deptno from emp;

    大数据hive中不推荐使用insert插入一条数据和update更改一条数据，这种操作很耗性能，且有可能产生小文件，
    若要操作，建议用NoSQL数据库

基本统计

    简单查询，不需要跑mapreduce，很快就可以出结果
    // between and [],左闭右闭
    select * from emp where sal between 800 and 1500;
    select * from emp where ename in ('SMITH', "MARTIN");
    select * from emp where ename not in ('SMITH', "MARTIN");
    select * from emp where comm is null;
    select * from emp where comm is not null;


聚合

    max/min/sum/avg，这类涉及到统计的，需要跑mapreduce，耗时比较久
    select count(1) from emp where deptno=10;
    select max(sal), min(sal), sum(sal), avg(sal) from emp;

分组函数

    group by，这个也是要跑mapreduce
    求每个部门的平均工资
    出现在select中的字段如果没有出现在聚合函数里，则必须出现在group by里
    select deptno, avg(sal) from emp group by deptno;

    求每个部门、工作岗位的平均工资

    select deptno, job, avg(sal) from emp group by deptno, job;

    求每个部门平均工资大于2000的部门
    对于分组函数过滤使用having
    select deptno, avg(sal) from emp group by deptno having avg(sal) > 2000;

join

这个也是要跑mapreduce

   create table dept(
        deptno int, 
        dname string,
        loc string
    )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

    LOAD DATA LOCAL INPATH '/Users/dinghui/data/dept.txt' OVERWRITE INTO TABLE dept;

    select 
    empno, ename, sal, e.deptno, dname
    from emp e join dept d
    on e.deptno = d.deptno;


执行计划

    EXPLAIN select 
    empno, ename, sal, e.deptno, dname
    from emp e join dept d
    on e.deptno = d.deptno;

    EXPLAIN extended
    select 
    empno, ename, sal, e.deptno, dname
    from emp e join dept d
    on e.deptno = d.deptno;

关于外部表和内部表

外部表创建：加EXTERNAL关键字，通常我们会用location指定外部表存放位置,/external/emp/这个目录不需要我们自己手动创建。例如：

CREATE EXTERNAL TABLE emp_external(
empno int,
ename string,
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
location '/external/emp/';

此时我们如果去mysql看元数据信息，命令select * from TBLS \G;，会有如下关键字，TBL_TYPE: EXTERNAL_TABLE，若该字段是TBL_TYPE: MANAGED_TABLE（则是内部表）。

外部表 VS 内部表

  • 若执行 drop table table_name
    • 则无论外部表和内部表的元数据信息均会被删除，具体表现，hive执行show tables；不会展现被删除的表，去mysql查看元数据信息，也不会看到该表的信息
    • 内部表的数据还会被删除，表现hdfs路径xxx/xxx/table_name/，这个目录连同该目录下的文件会被删除；但是外部表的数据还会存在在hdfs文件系统，表现先前定义该表时指定的location 目录及其下的文件还会在，此时若我们想恢复外部表，只需要按之前创建表的命令再创建一次即可恢复。
  • 修改表名:ALTER TABLE emp RENAME TO emp2;
    • 若是外部表，修改表名，不会影响到HDFS文件存储，只是表明发生更改，对应路径名不会更改，表现：show tables;出现emp2；但是文件目录，若之前是xxx/xxx/emp_info/xxx，依旧还是xxx/xxx/emp_info/xxx
    • 若是内部表，则修改表名，还会体现到HDFS文件存储上，即从xxx/xxx/emp_info/xxx变为xxx/xxx/emp2/xxx

Hive shell一些小命令

shell临时显示字段名
set hive.cli.print.header=true;
shell 临时显示当前库
set hive.cli.print.current.db=true;
查看hive支持的函数
show functions;
查看该函数的使用方法
desc function upper;
查看该函数的使用方法，且有例子介绍
desc function extended upper;

参考： 慕课网 - Hadoop 系统入门+核心精讲

一杯敬朝阳一杯敬月光
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
数据仓库
qq_40208605的博客
10-11 349
1． 数据仓库的基本概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。 ...
Hive对数据库database的创建、修改
热门推荐
大黑牛的博客
08-11 2万+
前言：Hive中对database的创建、查询、location、修改、删除等操作，作了简单描述 1.创建数据库         hive&gt;create database myhive;         hive&gt;create database if not exists myhive; 2.查询数据库和表        hive&gt;show databases;        ...
Hive 数据库常用基础命令
m0_72168501的博客
11-09 6616
hive数据仓库的基本sql命令
hive(三) -- 基础语法及导入导出
Gefangenes的博客
05-31 754
需要保证查询结果列的数目和需要插入数据表格的列数目一致.如果查询出来的数据类型和插入表格对应的列数据类型不一致，将会进行转换，但是不能保证转换一定成功，转换失败的数据将会为NULL。创建数据库,就会在warehouse下产生一个xx.db的文件夹,在哪个库下创建表,就会在对应的文件夹下产生对应表的文件夹.当然这是默认情况 我们可以在创建表时使用Location来指定表的位置.在建表的时候可以根据数据的特点灵活搭配使用。是' \001'，是一种特殊的字符，使用的是ASCII编码的值，键盘是打不出来的。
大数据---27.Hive的数据库和表的基本操作；脚本化运行；内部表；外部表；分区表
u014579001的博客
06-10 2139
Hive的数据库和表的基本操作；脚本化运行；内部表；外部表；分区表
Hive 创建数据库（以及指定存放位置）
CharlesCFA的博客
02-18 9711
语句： CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; 1.创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db hive (default)> create database db_hive;
基于Hadoop的数据仓库Hive学习指南.doc
04-06
【标题】：“基于Hadoop的数据仓库Hive学习指南” 【描述】：该文档是一份针对Hive的学习资料，旨在引导读者理解如何在Hadoop平台上利用Hive进行数据仓库操作和编程实践。它涵盖了Hive的基本概念、安装步骤、实验...
基于Hadoop的数据仓库Hive基础知识
02-25
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行...
大数据数据仓库hive框架搭建
04-15
大数据数据仓库hive框架搭建，从零到配置hiveserver2，通俗易懂，详细步骤注解！！！
数据仓库hive用到的mysql安装包
09-03
mysql安装包，mysql外界数据库作为存储hive元数据的存储介质，它的存在，方便hive用户根据自身的需求对数据进行分析处理。
数据仓库hive-1.1.0-cdh5.14.2
08-11
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
Hive 基本操作
皮埃尔的博客
05-07 2895
Hive 基本操作 环境：VMware® Workstation 16 Pro、Ubuntu18.4、Hadoop伪分布式 HiveQL 是 Hive 的查询请言，和 SQL 比较类似，对 Hive 的操作都是通过编写 HiveQL 语句来实现的。接下来介绍一下 Hive 中常用的几个基本操作。 1、create：创建数据库、表、视图 1.1 创建数据库 （1） 创建数据库 hive： hive> create database hive; （2）创建数据库 hive，因为 hive 已经存在，所
Hive Database 操作
houzhizhen的专栏
11-02 1363
1. 创建数据库 1.1 在默认位置创建数据库 CREATE DATABASE d1; 1.2 LOCATION CREATE DATABASE d2 LOCATION 'file:/user/hive/warehouse/d2.db'; 1.3 WITH DBPROPERTIES CREATE DATABASE d3 WITH DBPROPERTIES('creator' = 'houzhizhen') ; 1.4 加上 IF NOT EXISTS CREATE DATABASE IF NOT E
Hive 基本操作(创建数据库与创建数据库表)
Maynor的博客
12-02 1万+
二、Hive基本操作 2.1、创建数据库与创建数据库表 创建数据库操作 创建数据库 create database if not exists myhive; use myhive; 说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的 <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> 创建数据库并指定hdfs存储位置
Hive 对数据库的基本操作（一）
qq_52780611的博客
04-16 3435
hive对数据库的基本操作
Hive的简单学习二
最新发布
weixin_65909965的博客
04-11 1782
Hive的库与表的相关操作
Hive基本操作
2301_79969409的博客
12-19 1213
在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。例如，table总bucket数为32，tablesample(bucket 3 out of 16)，表示总共抽取（32/16=）2个bucket的数据，分别为第3个bucket和第（3+16=）19个bucket的数据。创建表分区，在Hive中创建一个分区表goods，包含goods_id和goods_status两个字段，字符类型为string，分区为cat_id，字符类型为string，以“\t“为分隔符。
Hadoop数据仓库Hive入门教程
教程涵盖Hive的数据仓库基础设施、SQL查询语言HiveQL、数据单位、类型系统、内置操作符和函数，以及语言功能和使用示例。" Hive是一个基于Hadoop的数据仓库基础设施，设计用于在大规模分布式硬件上存储和处理大量...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值