大数据--hiveDDL命令操作

最新推荐文章于 2022-07-25 13:46:09 发布
最新推荐文章于 2022-07-25 13:46:09 发布
阅读量278 收藏 1
点赞数 1
文章标签： 大数据 数据库 shell
原文链接：http://www.cnblogs.com/jeff190812/p/11507312.html
版权

1、在hive中显示当前数据库的名字和表头的信息，需要在$HIVE_HOME/conf目录下的hive-site.xml文件中添加如下内容：

<property>

<name>hive.cli.print.header</name>

<value>true</value>

</property>

 

<property>

<name>hive.cli.print.current.db</name>

<value>true</value>

</property>

 

配置完成后就可以看到如下的效果了：

hive (default)> select * from student;
OK
student.id student.name
1001 ss1
Time taken: 0.061 seconds, Fetched: 1 row(s)

======================================================================================================================================

 

2、修改hive的默认数据库也就是default的HDFS的存储路径，需要在$HIVE_HOME/conf目录下的hive-site.xml文件中添加如下内容（此段内容是在hive-default.xml.template文件下的）：

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

<description>location of default database for the warehouse</description>

</property>

 

--需要在配置下同组用户有写的权限（我的Hadoop的环境是HA模式的）

hdfs dfs -chmod g+w /user/hive/warehouse hdfs://bigdata111:9000/

--在HIVE_HOME/conf目录下的hive-site.xml文件中新增配置项对所有的连接到hive的session都生效

<property>

<name>mapred.reduce.tasks</name>

<value>3</value>   --默认值是-1

</property>

--在Linuxshell上修改配置项修改后连接到hive上，该session没有退出hiveshell的时候是生效的，当退出该hiveshell的时候就会失效，值还是-1不是修改后的值

hive -hiveconf mapred.reduce.tasks=2;

--在hiveshell上修改配置项修改后，只对当前连接到hiveshell修改配置项的session生效，退出后就实效了

hive (default)> set mapred.reduce.tasks=2;

=====================================================================================================================================

3、hive的常用命令：

3.1、在hiveshell下执行hive的命令：

--查询hive下所有的数据库

hive (default)> show databases;
OK
database_name
db_test
default
Time taken: 0.096 seconds, Fetched: 2 row(s)

------------------------------------------------------------

--查询当前default数据库下的所有表

hive (default)> show tables;
OK
tab_name
data
student
sum
Time taken: 0.018 seconds, Fetched: 3 row(s)

-----------------------------------------------------------

--查询表data的表结构信息

hive (default)> desc data;
OK
col_name data_type comment
id int
name string
Time taken: 0.06 seconds, Fetched: 2 row(s)

-----------------------------------------------------------

--查询表data的数据

hive (default)> select * from data;
OK
data.id data.name
1001 zhangshan
1002 lishi
1003 zhaoliu
Time taken: 0.066 seconds, Fetched: 3 row(s)

---------------------------------------------------------------

--切换数据库

hive (default)> use db_test;
OK
Time taken: 0.013 seconds

----------------------------------------------------------------

--创建内部表，hive创建的内部表，可以将数据移动到指定的HDFS的目录下，而且删除内部表的时候会将内部表的元数据和HDFS上存储的数据都删除

hive (db_test)> create table if not exists student(id int,name string)
> row format delimited fields terminated by '\t'
> stored as textfile
> location '/db_test.db/student';
OK
Time taken: 0.058 seconds

-------------------------------------------------------------------

[root@bigdata113 hivetest]# cat data
1001 zhangshan
1002 lishi
1003 zhaoliu

--将/root/hivetest目录下文件data的内容导入刚刚创建的内部表student

hive (db_test)> load data local inpath '/root/hivetest/data' into table student;
Loading data to table db_test.student
Table db_test.student stats: [numFiles=1, totalSize=39]
OK
Time taken: 0.197 seconds

----------------------------------------------------------------------------------

--查询下刚刚导入文件的内部表student

hive (db_test)> select * from student;
OK
student.id student.name
1001 zhangshan
1002 lishi
1003 zhaoliu
Time taken: 0.073 seconds, Fetched: 3 row(s)

--在HDFS上查询下该表对应的导入的文件data

hive (db_test)> dfs -lsr /db_test.db hdfs://bigdata111:9000/;
lsr: DEPRECATED: Please use 'ls -R' instead.
drwxrwxr-x - root supergroup 0 2019-09-11 15:08 /db_test.db/student
-rwxrwxr-x 3 root supergroup 39 2019-09-11 15:08 /db_test.db/student/data
drwxrwxr-x - root supergroup 0 2019-09-11 15:12 hdfs://bigdata111:9000/db_test.db
drwxrwxr-x - root supergroup 0 2019-09-11 15:08 hdfs://bigdata111:9000/db_test.db/student
-rwxrwxr-x 3 root supergroup 39 2019-09-11 15:08 hdfs://bigdata111:9000/db_test.db/student/data

--查询下data的内容

hive (db_test)> dfs -cat /db_test.db/student/data hdfs://bigdata111:9000/;
1001 zhangshan
1002 lishi
1003 zhaoliu

---------------------------------------------------------------------------------------

--创建hive的外部表，使用关键字external,删除外部表的时候只是会删除元数据也就是hive的table删除，但是在HDFS上存储的文件不会被删除

hive (db_test)> create external table if not exists studentout(id int,name string)
> row format delimited fields terminated by '\t';
OK
Time taken: 0.054 seconds

-----------------------------------------------------------------------------------

[root@bigdata113 hivetest]# cat dataout
1001 zhangshan
1002 lishi
1003 zhaoliu

--将/root/hivetest目录下的文件dataout导入到刚刚创建的外部表

hive (db_test)> load data local inpath '/root/hivetest/dataout' into table studentout;
Loading data to table db_test.studentout
Table db_test.studentout stats: [numFiles=1, totalSize=39]
OK
Time taken: 0.204 seconds

-----------------------------------------------------------------------------------

--查询下刚刚创建和导入数据的外部表studentout

hive (db_test)> select * from studentout;
OK
studentout.id studentout.name
1001 zhangshan
1002 lishi
1003 zhaoliu
Time taken: 0.044 seconds, Fetched: 3 row(s)

-----------------------------------------------------------------------------------

--在HDFS上看看外部表导入的数据文件dataout

hive (db_test)> dfs -cat /db_test.db/studentout/dataout hdfs://bigdata111:9000/;
1001 zhangshan
1002 lishi
1003 zhaoliu

--------------------------------------------------------------------------------

--删除hive的外部表和内部表，外部表删除只会删除表的元数据不会删除HDFS上的文件，删除内部表就会删除表的元数据和HDFS上的文件

--删除内部表

hive (db_test)> drop table student;
OK
Time taken: 0.209 seconds

--删除外部表

hive (db_test)> drop table studentout;
OK
Time taken: 0.065 seconds

--查询下hive上刚刚删除的两张表的元数据

hive (db_test)> show tables;
OK
tab_name
Time taken: 0.012 seconds

--两张表的元数据已经被删除了，在看看HDFS上的数据

hive (db_test)> dfs -lsr /db_test.db/ hdfs://bigdata111:9000/;
lsr: DEPRECATED: Please use 'ls -R' instead.
drwxrwxr-x - root supergroup 0 2019-09-11 15:18 /db_test.db/studentout
-rwxrwxr-x 3 root supergroup 39 2019-09-11 15:18 /db_test.db/studentout/dataout
drwxrwxr-x - root supergroup 0 2019-09-11 15:22 hdfs://bigdata111:9000/db_test.db
drwxrwxr-x - root supergroup 0 2019-09-11 15:18 hdfs://bigdata111:9000/db_test.db/studentout
-rwxrwxr-x 3 root supergroup 39 2019-09-11 15:18 hdfs://bigdata111:9000/db_test.db/studentout/dataout

--内部表的文件data已经被删除了，但是外部表的文件dataout还在HDFS上

----------------------------------------------------------------------------------------------------------------------

--删除数据库

hive (default)> drop database db_test cascade;
OK
Time taken: 0.035 seconds
hive (default)> show databases;
OK
database_name
default
Time taken: 0.006 seconds, Fetched: 1 row(s)

-----------------------------------------------------------------------------------------------------------------

--创建数据库

hive (default)> create database if not exists db_test location '/db_test.db';
OK
Time taken: 0.03 seconds

-------------------------------------------------------------------------------------------------

--修改数据库的信息，数据库的信息除了数据库的名字和数据库的存储路径不能修改，可以修改数据库的创建时间

hive (default)> alter database db_test set dbproperties('createtime'='20190911');
OK
Time taken: 0.024 seconds

-------------------------------------------------------------------------------------------

--查询数据库的详细信息

hive (default)> desc database extended db_test;
OK
db_name comment location owner_name owner_type parameters
db_test hdfs://mycluster/db_test.db root USER {createtime=20190911}
Time taken: 0.019 seconds, Fetched: 1 row(s)

--------------------------------------------------------------------------------------------

3.2、在Linuxshell命令下执行hive的命令

--查询下hive的命令帮助

[root@bigdata113 hivetest]# hive -help
usage: hive
-d,--define <key=value> Variable subsitution to apply to hive
commands. e.g. -d A=B or --define A=B
--database <databasename> Specify the database to use
-e <quoted-query-string> SQL from command line
-f <filename> SQL from files
-H,--help Print help information
--hiveconf <property=value> Use value for given property
--hivevar <key=value> Variable subsitution to apply to hive
commands. e.g. --hivevar A=B
-i <filename> Initialization SQL file
-S,--silent Silent mode in interactive shell
-v,--verbose Verbose mode (echo executed SQL to the
console)

-------------------------------------------------------------------------

--在Linuxshell下查询数据库db_test下的表student的数据

[root@bigdata113 hivetest]# hive --database db_test -e 'select * from student;'

Logging initialized using configuration in file:/opt/module/apache-hive-1.2.1-bin/conf/hive-log4j.properties
OK
Time taken: 0.675 seconds
OK
student.id student.name
1001 zhangshan
1002 lishi
1003 zhaoliu
Time taken: 1.0 seconds, Fetched: 3 row(s)

---------------------------------------------------------------------------

--使用sql脚本来执行hive命令

[root@bigdata113 hivetest]# cat student.sql
select * from student;

--使用student.sql文件来查询数据库db_test下的表student的数据

[root@bigdata113 hivetest]# hive --database db_test -f student.sql

Logging initialized using configuration in file:/opt/module/apache-hive-1.2.1-bin/conf/hive-log4j.properties
OK
Time taken: 0.714 seconds
OK
student.id student.name
1001 zhangshan
1002 lishi
1003 zhaoliu
Time taken: 0.679 seconds, Fetched: 3 row(s)

---------------------------------------------------------------------------------------

--使用“!”在hiveshell下可以使用Linux的命令

hive (db_test)> !cat /root/hivetest/data;
1001 zhangshan
1002 lishi
1003 zhaoliu
hive (db_test)> !ls /root;
anaconda-ks.cfg
hivetest
rpm
zookeeper.out

------------------------------------------------------------------------------------

--使用hive的map、array、struct来创建表和导入相关的数据

--创建的表和导入的数据需要显示成如下的格式

{

    "name": "songsong",

    "friends": ["bingbing" , "lili"] ,       //列表Array,

    "children": {                      //键值Map,

        "xiao song": 18 ,

        "xiaoxiao song": 17  

  }

    "address": {                      //结构Struct,

        "street": "hai dian qu" ,

        "city": "beijing"

    }

}

--先创建表

hive (db_test)> create table if not exists structsum(name string,
> friends array<string>,
> children map<string,int>,
> address struct<street:string,city:string>)
> row format delimited fields terminated by ','
> collection items terminated by '_'
> map keys terminated by ':'
> lines terminated by '\n';
OK
Time taken: 0.109 seconds

--MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)用的是"_"这个符号

-------------------------------------------------------------------------------------------

--将/root/hivetest目录下的文件sum的数据导入到刚刚创建的表structsum里

[root@bigdata113 hivetest]# cat sum
songsong,bingbing_lili,xiao song:18_xiaoxiao song:17,hai dian qu_beijing
yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing

hive (db_test)> load data local inpath '/root/hivetest/sum' into table structsum;
Loading data to table db_test.structsum
Table db_test.structsum stats: [numFiles=1, totalSize=142]
OK
Time taken: 0.151 seconds

--查询下表structsum的数据

hive (db_test)> select * from structsum;
OK
structsum.name structsum.friends structsum.children structsum.address
songsong ["bingbing","lili"] {"xiao song":18,"xiaoxiao song":17} {"street":"hai dian qu","city":"beijing"}
yangyang ["caicai","susu"] {"xiao yang":18,"xiaoxiao yang":19} {"street":"chao yang","city":"beijing"}
Time taken: 0.088 seconds, Fetched: 2 row(s)

--查询name是songsong的第一个朋友也就是bingbing及children里面的xiaoxiao song的年龄的信息及街道和城市信息，给字段去中文别名的话需要加特殊符号`，这个不是单引号是键盘Esc键上面的`号

hive (db_test)> select friends[0]as`朋友`,children['xiaoxiao song']as`年龄`,address.street,address.city from structsum where name="songsong";
OK
朋友 年龄 street city
bingbing 17 hai dian qu beijing
Time taken: 0.097 seconds, Fetched: 1 row(s)

========================================================================================================================================

 

转载于:https://www.cnblogs.com/jeff190812/p/11507312.html

awys19931001
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HIVE的ddl操作
数据丁的博客
10-05 357
hive的ddl操作 库： 修改数据库不支持 创建数据库：create database mading; 切换数据库：use mading; 查看数据库列表：show databases; //模糊查询：show databases like 'test*'; 查看正在使用的数据库：show current_database(); 查看数据库的详细信息：desc database mading;...
【hadoop】hive的一些简单命令
weixin_59765716的博客
12-15 944
（1）启动hive [linux01 hive]$ bin/hive （2）显示数据库 hive>show databases; （3）使用default数据库 hive>use default;
HiveDDL操作
gltncx11的博客
11-27 200
DDL操作 1.创建表 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...
大数据-HiveDDL和DML操作
Destiny的博客
04-14 351
Hive数据类型 Java数据类型 Hive数据类型 长度 byte TINYINT 1个字节（有符号整数） short SMALLINT 2个字节（有符号整数） int INT 4个字节（有符号整数） long BIGINT 8个字节（有符号整数） boolean BOOLEAN ...
Hive常规操作-Hive DDL操作
麦田里的守望者-蒋中洲【相信相信的力量】
01-04 387
Database 查看数据库 0: jdbc:hive2://CentOS:10000> show databases; +----------------+--+ | database_name | +----------------+--+ | default | | test | +----------------+--+ 2 rows select...
apache-atlas-2.0.0-hive-hook ,亲测有用！
01-26
Hive Hook 是Apache Atlas 提供的一种机制，用于在Hive 执行DDL（数据定义语言）和DML（数据操纵语言）操作时触发Atlas 的元数据事件，从而实现实时的元数据跟踪和管理。 在Apache Atlas 2.0.0 中，Hive Hook 主要...
vim-hive:Hive 查询语言的语法文件
05-29
**vim-hive: Hive 查询语言的语法文件** `vim-hive` 是一个专门为 Vim 编辑器设计的插件，其主要目的是为了提供 Hive 查询语言（HQL）的语法高亮显示功能。这个插件使得在 Vim 中编写 Hive 查询变得更加方便，通过...
尚硅谷大数据视频_Hive视频教程
11-13
4. **HQL（Hive Query Language）**：学习Hive的SQL方言，包括DML（数据操纵语言）、DDL（数据定义语言）和DQL（数据查询语言），如CREATE TABLE、LOAD DATA、INSERT INTO、SELECT等命令。 5. **数据类型与表操作**...
Apache-Hive-Cookbook
12-12
Hive的设计初衷是为了简化数据分析任务，使得非编程背景的用户也能方便地操作大数据。 本书的知识点涵盖了以下几个主要部分： 1. **Hive基础**：介绍Hive的基本概念，包括安装和配置Hive环境，理解Hive架构，以及...
16.集群中的回收站配置
知其然，知其所以然
10-09 431
默认回收站 默认值fs.trash.interval=0，0表示禁用回收站，可以设置删除文件的存活时间。 默认值fs.trash.checkpoint.interval=0，检查回收站的间隔时间。 要求fs.trash.checkpoint.interval<=fs.trash.interval。 比如：一个人犯罪了，法官判入狱3年，如果监狱里面没有狱警，时间到了，谁知道这个人的时间...
hive-- 常见错误解决一
dengxi3649的博客
08-20 515
安装Hive过程中，出现Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxExceptiion: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7...
Hive 安装部署
热门推荐
小杨的技术博客
04-28 2万+
本次用的是伪集群模式，只用了一台hadoop101。公司电脑配置有点低，伤不起。 本次使用的hive版本1.2.1，下载地址：http://archive.apache.org/dist/hive/ 安装及配置 上传并解压安装包 把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下 解压 apache-hive-1.2.1-bi...
数据仓库 Hive安装配置
最新发布
lz_N_one的博客
07-25 552
HIve安装配置，及基础语法
Hive环境搭建启动报错
weixin_30622107的博客
11-22 213
hive-site.xml文件内容: 1 <?xml version="1.0" encoding="UTF-8" standalone="no"?> 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- 3 Licensed to the Apache Softwar...
HDFS小文件问题及解决方案（Hadoop Archive，Sequence File和CombineFileInputFormat）
weixin_43230682的博客
08-06 1015
目录 一、前言概述 二、Hadoop Archive方案（HAR） 第一步：创建归档文件 第二步：查看归档文件内容 第三步：解压归档文件 三、Sequence Files方案 四、CombineFileInputFormat方案 一、前言概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给Hadoop的扩展性和性能带来严重问题。 首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文
Logging initialized using configuration in jar:file:/home/lan/software/hive/lib/hive-common-1.2.1.ja
jiuliangtan的博客
08-12 1万+
使用bin/hive命令,出现Logging initialized using configuration in jar:file:/home/lan/software/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties 之后一直卡着不动,查看log日志发现是连接不上mysql,想了好久,结果第二天一看是windows端的防火墙不知何时被...
hive报错：Logging initialized using configuration in jar:file:/home/software/apache-hive-1.2.0-bin/lib/
qq_45453185的博客
12-04 3707
在hive的bin目录下输入sh hive报错: [root@hadoop01 apache-hive-1.2.0-bin]# cd bin [root@hadoop01 bin]# sh hive Logging initialized using configuration in jar:file:/home/software/apache-hive-1.2.0-bin/lib/hive-co...
Hive中的DDL操作
Mark_Frank的博客
08-25 1734
参考文章：https://www.cnblogs.com/qingyunzong/p/8723271.html 首先引入以下什么是DDL、DML、DCL： DDL（data manipulation language） 它们是SELECT、UPDATE、INSERT、DELETE，就象它的名字一样，这4条命令是用来对数据库里的数据进行操作的语言。 DML（data definition language） DDL比DML要多，主要的命令有CREATE、
大数据集群实战：Hadoop-HBase-Spark-Hive搭建步骤
7. **Hive安装与配置**: Hive提供了一个SQL-like接口来查询和管理大数据，它建立在Hadoop之上。你将学习如何安装Hive，连接到MySQL作为元数据存储，以及配置Hive服务器。 8. **集群测试与优化**: 最后，你会进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值