hive的表操作

最新推荐文章于 2024-07-16 13:43:40 发布
最新推荐文章于 2024-07-16 13:43:40 发布
阅读量739 收藏 10
点赞数 19
文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74934794/article/details/140110394
版权

 常用的hive命令

 

切换数据库use test;
查询表的建表信息show create table 数据库名称.表名;
查看表的类型信息desc formatted 数据库名称.表名;

删除内部表

drop table 数据库名称.表名;

 先启动hdfs ，mysql ， hiveservice2，beeline

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT COL_COMMENT],.....)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment],....)]
[CLUSTERED BY (col_name,col_name,....)]
[SORTED BY (col_name [ASC|DESC],...)] INFO num_buckets BUCKETS]
[ROW FORMAT DELIMITED FIELDS TERMINATED BY ',']
[STORED AS file_format]
[LOCATION hdfs_path]

字段解释
1 CREATE TABLE创建一个指定名字的表，如果名字相同抛出异常，用户可以使用IF NOT EXISTS来忽略异
常

2 EXTERNAL关键字可以创建一个外部表，在建表的同时指定一个实际数据的路径（LOCATION）
,hive在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据

3 COMMENT是为表和列添加注释

4 PARTITIONED BY是分区表
 

5 CLUSTERED BY 是建分桶(不常用)


6 SORTED BY 是指定字段进行排序(不常用)


7 ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 是指每行数据中列分隔符为"," 
默认分隔符为" \001"

8 STORED AS 指定存储文件类型,数据文件是纯文本,可以使用STORED AS TEXTFILE

9 LOCATION 指定表在HDFS上的存储位置,内部表不要指定,
但是如果定义的是外部表，则需要直接指定一个路径。

 

--创建数据库test

create database if not exists test;


--在数据库test中创建emp1表
--有两种方式

--1.先切换数据库 再创建表
use test;

create table if not exists emp1(
    emp_id int,
    emp_name string,
    department_id int

)
stored as textfile
;


--将以上内容写入sql文件中，再用source 执行文件

source /opt/sql/create_emp.sql;

--查询表的建表信息
--show create table 数据库名称.表名;

show create table test.emp1;
+----------------------------------------------------+
|                   createtab_stmt                   |
+----------------------------------------------------+
| CREATE TABLE `test.emp1`(                          |
|   `emp_id` int,                                    |
|   `emp_name` string,                               |
|   `department_id` int)                             |
| ROW FORMAT SERDE                                   |
|   'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'  |
| STORED AS INPUTFORMAT                              |
|   'org.apache.hadoop.mapred.TextInputFormat'       |
| OUTPUTFORMAT                                       |
|   'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' |
| LOCATION                                           |
|   'hdfs://bigdata004:8020/user/hive/warehouse/test.db/emp1' |
| TBLPROPERTIES (                                    |
|   'bucketing_version'='2',                         |
|   'transient_lastDdlTime'='1719865642')            |
+----------------------------------------------------+


--2.直接在建表语句中指定对应的数据库
create table if not exists test.emp1(
    emp_id int,
    emp_name string,
    department_id int

)
stored as textfile
;

--查看表的类型信息
--desc formatted 数据库名称.表名;
desc formatted test.emp1;
 


+-------------------------------+----------------------------------------------------+----------------------------------------------------+
|           col_name            |                     data_type                      |                      comment                       |
+-------------------------------+----------------------------------------------------+----------------------------------------------------+
| # col_name                    | data_type                                          | comment                                            |
| emp_id                        | int                                                |                                                    |
| emp_name                      | string                                             |                                                    |
| department_id                 | int                                                |                                                    |
|                               | NULL                                               | NULL                                               |
| # Detailed Table Information  | NULL                                               | NULL                                               |
| Database:                     | test                                               | NULL                                               |
| OwnerType:                    | USER                                               | NULL                                               |
| Owner:                        | root                                               | NULL                                               |
| CreateTime:                   | Tue Jul 02 04:27:22 CST 2024                       | NULL                                               |
| LastAccessTime:               | UNKNOWN                                            | NULL                                               |
| Retention:                    | 0                                                  | NULL                                               |
| Location:                     | hdfs://bigdata004:8020/user/hive/warehouse/test.db/emp1 | NULL                                               |
| Table Type:                   | MANAGED_TABLE                                      | NULL                                               |
| Table Parameters:             | NULL                                               | NULL                                               |
|                               | COLUMN_STATS_ACCURATE                              | {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"department_id\":\"true\",\"emp_id\":\"true\",\"emp_name\":\"true\"}} |
|                               | bucketing_version                                  | 2                                                  |
|                               | numFiles                                           | 0                                                  |
|                               | numRows                                            | 0                                                  |
|                               | rawDataSize                                        | 0                                                  |
|                               | totalSize                                          | 0                                                  |
|                               | transient_lastDdlTime                              | 1719865642                                         |
|                               | NULL                                               | NULL                                               |
| # Storage Information         | NULL                                               | NULL                                               |
| SerDe Library:                | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe | NULL                                               |
| InputFormat:                  | org.apache.hadoop.mapred.TextInputFormat           | NULL                                               |
| OutputFormat:                 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat | NULL                                               |
| Compressed:                   | No                                                 | NULL                                               |
| Num Buckets:                  | -1                                                 | NULL                                               |
| Bucket Columns:               | []                                                 | NULL                                               |
| Sort Columns:                 | []                                                 | NULL                                               |
| Storage Desc Params:          | NULL                                               | NULL                                               |
|                               | serialization.format                               | 1                                                  |
+-------------------------------+----------------------------------------------------+----------------------------------------------------+
33 rows selected (0.153 seconds)


--创建带有注释的内部表emp2
 

create table if not exists test.emp2(
    emp_id int comment "员工id",
    emp_name string comment "员工姓名",
    department_id int comment "部门id"
)
comment "员工内部表"
stored as textfile
;


--将以上内容写入sql文件中，再用source
--在beeline命令行中执行sql文件

此时查看建表信息


+----------------------------------------------------+
|                   createtab_stmt                   |
+----------------------------------------------------+
| CREATE TABLE `test.emp2`(                          |
|   `emp_id` int COMMENT '??id',                     |
|   `emp_name` string COMMENT '????',                |
|   `department_id` int COMMENT '??id')              |
| COMMENT '?????'                                    |
| ROW FORMAT SERDE                                   |
|   'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'  |
| STORED AS INPUTFORMAT                              |
|   'org.apache.hadoop.mapred.TextInputFormat'       |
| OUTPUTFORMAT                                       |
|   'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' |
| LOCATION                                           |
|   'hdfs://bigdata004:8020/user/hive/warehouse/test.db/emp2' |
| TBLPROPERTIES (                                    |
|   'bucketing_version'='2',                         |
|   'transient_lastDdlTime'='1719868467')            |
+----------------------------------------------------+
16 rows selected (0.104 seconds)

 问号部分就是注释里的中文，要解决下其乱码问题

解决hive中文乱码

1.登录mysql 执行如下命令 然后重启mysql

得先退出hive 并杀死进程 kill -9 进程号

#修改字段注释字符集
alter table hive.COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
 
#修改表注释字符集
alter table hive.TABLE_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
 
#修改分区参数，支持分区建用中文表示
alter table hive.PARTITION_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
alter table hive.PARTITION_KEYS modify column PKEY_COMMENT varchar(20000) character set utf8;

 打开navicat

将命令输入 ，点击运行

重启mysql

systemctl stop mysqld
systemctl start mysqld

##2. 在hive-site.xml配置文件中修改如下配置
  

      <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://bigdata004:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
                <description>JDBC connect string for a JDBC metastore</description>
        </property>

 

对于之前创建的带注释的表emp2不起效果，一=应该重新创建一个注释的表


+----------------------------------------------------+
|                   createtab_stmt                   |
+----------------------------------------------------+
| CREATE TABLE `test.emp2`(                          |
|   `emp_id` int COMMENT '员工id',                     |
|   `emp_name` string COMMENT '员工姓名',                |
|   `department_id` int COMMENT '部门id')              |
| COMMENT '?????'                                    |
| ROW FORMAT SERDE                                   |
|   'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'  |
| STORED AS INPUTFORMAT                              |
|   'org.apache.hadoop.mapred.TextInputFormat'       |
| OUTPUTFORMAT                                       |
|   'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' |
| LOCATION                                           |
|   'hdfs://bigdata004:8020/user/hive/warehouse/test.db/emp2' |
| TBLPROPERTIES (                                    |
|   'bucketing_version'='2',                         |
|   'transient_lastDdlTime'='1719869823')            |
+----------------------------------------------------+

成功了

天才的白鸟
关注
  • 19
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hive 表 DML 操作
qq_71139242的博客
10-25 3824
Hive 表 DML 操作；load
hive中的表操作
m0_61466268的博客
04-30 2934
1，hive概述 Hive是基于Hadoop的数据仓库，用于处理结构化的数据集，数据结构存在于MySQL，数据存在 HDFS。Hive可以将一个类似于sql的查询语句（HQL）翻译成MR程序，将job提交给HDFS进行查询 时，hive把HDFS上的一个目录映射成一张Hive表，在查询的时候就是把job放 在HDFS上处理该文件。 Hive最适合用于数据仓库程序，使用该应用程序是进行静态数据分析，不需要快速响应结果，而且数据 本身不会频繁变化，其设计的目的是为了精通sql但是对Java编程相对较弱的分析
Hive之——Hive表操作
冰河的专栏
06-02 3759
一、Hive基本使用——数据类型1、基本数据类型tinyint, smallint, int, bigint, boolean, float, double, string, binary, timestamp, decimal, char, varchar, date2、集合类型array: array类型是由一系列相同数据类型的元素组成，这些元素可以通过下标来访问，例array[i]map: ...
hive数据库及表操作
m0_37658639的博客
10-15 5084
1.数据库操作 1.1 创建数据库 （1）创建一个名为school数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db hive (default)> create database school; (2) 避免要创建的数据库已经存在错误，增加if not exists判断 hive (default)> create database if not exists school_1; （3）创建一个数据库，指定数据库在HDFS上存放的位置.
Hive表操作及管理
ZHBR_F1的博客
05-31 4850
转载请注明出处：http://blog.csdn.net/u012842205/article/details/72765667 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不
python操作hive表_菜鸟世界 -python 连接hive
weixin_39653448的博客
12-03 1838
1. pyhivepyhive 是可以用于连接hive的python库，安装方式如下pip install saslpip install thriftpip install thrift-saslpip install PyHive2. 连接数据库连接数据库，如果需要设置密码，那么必须制定auth参数from pyhive import hiveconn = hive.Connection(ho...
Spark SQL操作Hive表
RonieWhite的博客
09-02 2782
Spark SQL支持从Hive存储中读写数据。然而，Hive存在很多的依赖，而这些依赖又不包含在默认的各类Spark发型版本中。如果将Hive的依赖放入classpath中，Spark将自动加载它们。值得注意的是，这些依赖必须在所有节点中都存在。因为他们需要通过Hive的序列化和反序列化库(SerDes)来访问存储在Hive中的数据。 在Spark中配置Hive，需要将hive-site.xml, core-site.xml, hdfs-site.xml放置到Spark的conf/目录下。 需要操作H
Hive表DDL操作（一）
qq_71139242的博客
10-26 5318
Hive表DDL操作（一）；表分区；Create/Alter/Drop 数据库；Create/Drop/Truncate 表；Alter 表/列
spark使用Hive表操作
偷闲小苑
09-28 4550
spark Hive表操作之前很长一段时间是通过hiveServer操作Hive表的,一旦hiveServer宕掉就无法进行操作。比如说一个修改表分区的操作使用HiveServer的方式val tblName = "hive_table"def dropPartitions(tblName: String): Unit = { val HIVE_SERVER = "jdbc:hive2://192
Hive分区表操作
既明的博客
04-11 2971
分区表操作：提高数据查询效率创建分区表：CREATE EXTERNAL TABLE *(...) PARTITIONED BY(name type...);//分区内容直接作为列静态导入：按照用户指定的分区值导入数据eg1:分区存储下列信息1001,Lucy,US,COO1002,Mary,US,GM1003,马云,CH,CEO1004,马化腾,CH,COO1005,王健林,CH,CTO1006,...
hive 表 dml 操作.zip
06-22
在这个“hive 表 DML 操作.zip”压缩包中，我们关注的是Hive对数据操作的语言特性，特别是DML（Data Manipulation Language），即数据操纵语言。在Hive中，DML主要包括INSERT、UPDATE、DELETE以及SELECT等操作，但...
Hive DDL 之 表
01-07
创建表 语法： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)...
hive 表 dml 操作.md
06-22
在 Hive 中，可以使用 DML（数据操作语言）来对表进行增删改操作。
Hive的分区表
01-20
Hive分区表 Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，...分区表的基本操作 现在有以下数据： 10 A
Hive常用内置函数合集
zjy123078_zjy的博客
07-14 835
Hive常用函数合集
新书速览|深入理解Hive:从基础到高阶:视频教学版
最新发布
quanzhankaifaqua的博客
07-16 748
作为ChatGPT大模型技术的实践者和研究者，他在全网上撰写了多篇高质量的ChatGPT和Hive数据仓库相关技术文章，并出版了《Kafka并不难学》（电子工业出版社，2018年11月出版）和《Hadoop大数据挖掘从入门到进阶实战（视频教学版）》（机械工业出版社，2018年6月）两本书。在最后一章对Hive进行了拓展，深入探讨AI大模型在数据分析领域的应用，并介绍其与Hive的深度整合，解释如何利用AI大模型来加速Hive中的数据挖掘过程，使数据分析更为便捷、高效。，全面地介绍Hive的使用方法。
数仓工具—Hive语法之宏(Macro)
07-15 4369
Hive中的宏是一组SQL语句，它们被存储并通过调用宏函数名称来执行。宏在当前会话期间存在。宏是临时的，如果你想拥有永久性的宏，最好创建用户定义的函数并在Hive中注册。在关系数据库管理系统（RDBMS）中，宏存储在数据字典中。Hive宏与关系型数据库中的宏略有不同。在我的其他文章中，我们讨论了如何使用用户定义的函数检查一个字符串是否为数字。然而，你也可以通过创建Hive宏来实现相同的功能。请注意，错误是因为参数’inputString’中的大写’S’以及表达式中的大写。，如何使用它们，以及一些宏的示例。
Hive的基本操作（查询）
qq_73339471的博客
07-15 530
查询字段的【数量】与【类型】必须相同，字段名是以【第一张表为准】。union all：合并后保留重复项 ✔。union：合并后删除重复项（去重）
Hive表操作的源程序代码:
04-04
Hive表操作的源程序代码是基于Hadoop MapReduce框架的，使用Java语言开发。以下是一个简单示例： 创建表: CREATE TABLE table_name ( column1 data_type, column2 data_type, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 查询表: SELECT column1, column2, ... FROM table_name WHERE condition; 插入数据: INSERT INTO table_name (column1, column2, ...) VALUES (value1, value2, ...); 更新数据: UPDATE table_name SET column1 = value1, column2 = value2, ... WHERE condition; 删除数据: DELETE FROM table_name WHERE condition; 删除表: DROP TABLE table_name;

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值