数据库创建、表创建、加载数据

最新推荐文章于 2023-04-25 13:36:08 发布
最新推荐文章于 2023-04-25 13:36:08 发布
阅读量390 收藏
点赞数
分类专栏： hive hive日常操作

--创建数据库

create database if not exists sopdm

comment ‘this is test database’

with dbproperties(‘creator’=’gxw’,’date’=’2014-11-12’)     --数据库键值对属性信息

location ‘/my/preferred/directory’;

 

 

--查看数据库的描述信息和文件目录位置路径信息

describe database sopdm;

--查看数据库的描述信息和文件目录位置路径信息(加上数据库键值对的属性信息)

describe database extended sopdm;

 

--删除数据库

drop database if exists sopdm;

--级联删除数据库(当数据库还有表时，级联删除表后在删除数据库),默认是restrict

drop database if exists sopdm cascade;

 

--修改数据库

--只能修改数据库的键值对属性值。数据库名和数据库所在的目录位置不能修改

alter database sopdm set dmproperties(‘edited-by’=’gaoxianwei’);

 

--创建表

--其中tblproperties作用：按照键值对的格式为表增加额外的文档说明，也可用来表示数据库连接的必要的元数据信息

--hive会自动增加二个表属性：last_modified_by(最后修改表的用户名)，last_modified_time(最后一次修改的时间)

create table if not exists sopdm.test1(name string comment ‘姓名’,salary float comment ‘薪水’)

comment ‘这是一个测试的表’

tblproperties(‘creator’=’me’,’created_at’=’2014-11-13 09:50:33’)

location ‘/user/hive/warehouse/sopdm.db/test1’

 

--查看和列举表的tblproperties属性信息

show tblproperties table_name;

 

 

--使用like在创建表的时候，拷贝表模式(而无需拷贝数据)

create table if not exists sopdm.test2 like sopdm.test1;

 

 

--查看表的详细结构信息（也可以显示表是管理表，还是外部表。还有分区信息）

describe extended sopdm.test1;

--使用formatted信息更多些，可读性更强

describe formatted sopdm.test1;

 

 

--创建外部表

--删除表时，表的元数据会被删除掉，但是数据不会被删除

--如果数据被多个工具（如pig等）共享，可以创建外部表

create external table if not exists sopdm.test1(

name string comment ‘姓名’,

salary float comment ‘薪水’)

comment ‘这是一个测试的表’

tblproperties(‘creator’=’me’,’created_at’=’2014-11-13 09:50:33’)

location ‘/user/hive/warehouse/sopdm.db/test1’

 

 

--分区表

create table if not exists sopdm.test1(

name string comment ‘姓名’,

salary float comment ‘薪水’)

comment ‘这是一个测试的表’

partitioned by(country string,state string)

STORED AS rcfile

tblproperties(‘creator’=’me’,’created_at’=’2014-11-13 09:50:33’)

location ‘/user/hive/warehouse/sopdm.db/test1’

 

 

--查看表中存在的所有分区

show partitions table_name;

--查看表中特定分区

show partitions table_name partition(country=’US’);

 

 

--可以在表载入数据的时候创建分区

load data local inpath ‘${env:HOME/employees}’

into table employees

partition(country=’US’,state=’CA’);

 

 

--删除表

drop table if exists table_name;

 

 

--修改表-表重命名

alter table old_table_name rename to new_table_name;

 

--增加分区

alter table table_name add if not exists partition(year=2011,month=1,day=1)

location ‘/logs/2011/01/01’;

 

--修改分区存储路径

alter table table_name partition(year=2011,month=1,day=2)

set location ‘/logs/2011/01/02’;

 

--删除某个分区

alter table table_name drop if exists partition(year=2011,month=1,day=2);

 

--修改列信息

alter table table_name

change column old_name new_name int

comment ‘this is comment’

after severity;         --字段移到severity字段之后（移动到第一个位置，使用first关键字）

 

--增加列

alter table table_name add columns(app_name string comment ‘application name’);

 

--删除或者替换列

alter table table_name replace columns(hms int comment ‘hhh’);

 

--修改表属性

alter table table_name set tblproperties(‘notes’=’this is a notes’);

 

--修改存储属性

alter table table_name partition(year=2011,month=1,day=1) set fileformat sequencefile;

 

--指定新的SerDe,并指定SerDe属性

alter table table_name

set serde “com.example.JSONSerDe”

with serdeproperties(‘prop1’=‘value1’, ‘prop2’=‘value2’);

 

--增加执行“钩子”——当表中存储的文在hive之外被修改了，就会触发钩子的执行

alter table table_name touch partition(year=2012,month=1,day=1);

 

--将分区内的文件打成hadoop压缩包文件，只会降低文件系统中的文件数，减轻NameNode的压力，而不会减少任何的存储空间

--使用unarchive替换archive起到反向操作

alter table table_name archive partition(year=2012,month=1,day=1);

 

--防止分区被删除和被查询(使用enable替代disable可以起到反向的操作目的)

alter table table_name partition(year=2012,month=1,day=1) disable no_drop;

alter table table_name partition(year=2012,month=1,day=1) disable offline;

 

 

--向管理表中装载数据

-- inpath为一个目录，而且这个路径下不可以包含任何文件夹

load data local inpath ‘${env:HOME}/table_name’

overwrite into table table_name

partition(country=’US’);

 

 

--通过查询语句向表中插入数据

--overwrite是覆盖，into是追加

insert overwrite table table_name

partition(country=’US’)

select * from table_name2 tn where tn.cnty=’US’

 

 

--高效方式-查询语句插入多个分区

from table_name2 tn

insert overwrite table table_name

partition(country=’US’,state=’OR’)

         select * where tn.cnty=’US’ and tn.st=’OR’

insert overwrite table table_name

partition(country=’US’,state=’CA’)

         select * where tn.cnty=’US’ and tn.st=’CA’

 

 

--动态插入分区

--hive根据select语句最后2列确定分区字段country和state的值（根据位置）

insert overwrite table table_name

partition(country,state)

select …,se.cnty,se.st

from employees se;

 

--动态和静态分区结合

--country为静态分区，state为动态分区（静态分区必须在动态分区之前）

insert overwrite table table_name

partition(country=‘US’,state)

select …,se.cnty,se.st

from employees se

where se.cnty=’US’;

 

 

--单个查询语句中创建表并加载数据

create table table_name1

as select name,salary,address from table_name2 where state=’CA’;

 

 

--导出数据——拷贝文件

--如果数据文件恰好是用户需要的格式，那么只需要简单的拷贝文件或文件夹就可以。

hadoop fs –cp source_path target_path

 

 

--导出数据

insert overwrite local directory ‘/tmp/employees’

select name,salary,address from employees se where se.state=’CA’

 

--导出数据到多个输出文件夹

from employees se

insert overwrite local directory ‘/tmp/or_employees’

         select * se where se.cty=’US’ and se.st=’OR’

insert overwrite local directory ‘/tmp/ca_employees’

         select * se where se.cty=’US’ and se.st=’CA’

 

mnasd
关注
专栏目录
hive的基本操作（创建表，数据加载）
qq_25534101的博客
03-31 1390
创建数据库 create database if not exists myhive; use myhive; 说明：创建数据库在hdfs上的位置 hive-site.xml当中的一个属性指定的 <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> 创建并指定hdfs存储位置 create database myhive2 location '/myhi
hive 表创建及数据加载
duan19056的专栏
12-23 838
1、创建一张表       create table mytb(id int,table_name string) row format delimited fields terminated by ","; 2、从本地磁盘加载数据文件，将数据插入创建好的hive表中       load data local inpath '/usr/hadoop/test/mytb.txt' i
MySql学习笔记(一):创建数据库，创建表，加载数据，数据检索
菜到不敢run
07-30 513
一、准备工作 1.1 安装mysql 1.2 配置mysql 安装完成后，将下面路径C:\Program Files\MySQL\MySQL Server 5.7\bin配置到环境变量中去。 控制台下，输入>mysql -hlocalhost -uroot -p123456，进入mysql。 二、创建并且使用databases 2.1 查看已有databases show databases命令和use tb_test 2.2 创建表 show tables命令 create table命令
Hive创建表以及导入数据
baidu_32109835的博客
11-22 630
建表 内表 create table test_user_base( name string comment 'name value', workid string comment 'workid value', age string comment 'age value', sex string comment 'sex value', phone string comment 'phone v...
实验训练1-在MySQL中创建数据库和表作业.doc
05-19
MySQL 数据库创建和表操作基础知识 本资源摘要信息介绍了 MySQL 中创建数据库和表的基本操作步骤，并对每个步骤进行了详细的解释。 一、查看当前存在的数据库 在 MySQL 中，使用 `show databases;` 语句可以查看...
java使用JDBC动态创建数据表及SQL预处理的方法
08-29
该方法主要涉及到 JDBC 操作数据库的连接、创建表、添加数据、查询等相关实现技巧。 一、JDBC 操作数据库的连接 在使用 JDBC 操作数据库之前，需要首先连接数据库。连接数据库的步骤包括加载数据库驱动、建立连接...
java中JDBC连接Access数据库创建表.pdf
12-14
使用 JDBC 连接 Access 数据库创建表需要创建 Access 数据库、创建数据源、编写 JDBC 连接代码和创建表代码。通过这篇文章，读者可以学习如何使用 JDBC 连接 Access 数据库创建表，掌握 Java 语言中的数据库编程技术...
生成hive建表语句
08-24
生成hive建表语句
hive锁 导致 hive select、alter、sqoop表异常
hello_java_lcl的博客
04-12 301
环境：CDH6.2.1，Java8 HDFS 3.0.0+cdh6.2.1 Hive 2.1.1+cdh6.2.1 ZooKeeper 3.4.5+cdh6.2.1 Sqoop 1.4.7+cdh6.2.1 Flume NG 1.9.0+cdh6.2.1 问题：假期服务器突然断电，导致正在查询的hive进程异常，重启系统之后，发现hive表不能执行，select、alter都不行，不过是部分表这样。 解决：查看日志并在网上查询后，发现是hive锁的问题，
bui前端框架+yii整理
weixin_34088598的博客
08-08 529
这个是做bui前端样式整合的时候记录的。 首先当然是要下载一个yii的源码，搭建起来。 第一步将bui的样式迁移到yii的样式目录中去 这里我在样式外面加了一个bui的文件夹，表示这个文件夹中存放的是bui相关的样式，以免重复。 然后创建一个控制器，正常编写。 <?php namespace app\controllers; use Yii; use yii\we...
Hive表的修改Alter
u011495642的博客
11-07 1152
原文地址：https://www.cnblogs.com/skyl/p/4736587.html     Hive表的修改Alter 1.查看创建表的信息 【show create table】 hive&gt; show create table student; OK createtab_stmt CREATE TABLE `student`( `age` int, ...
基于Hadoop的数据仓库Hive的基本应用（二）||select、insert、join、alter
大数据小白有点黑的博客
05-20 367
hive的应用修改表：alter 增加分区：删除分区重命名增加/更新列修改字段：全部改：alter 表 replace columns（列名 类型）;旧的改新的：alter 表 change column 旧列名 行列名 类型；拷贝一个表：（只有表结构，没有分区）create table like 旧表；重命名：alter table 表 rename to 名；  load命令  就是单纯的复制...
hive 中创建表的三种方式
u012957549的博客
12-23 1万+
官网地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 通常我们所使用的创建hive表有三种方式 1.create table 首先我们找到官网对创建表的描述如下： ’[]’ 表示可选，’|’ 表示几选一 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] ...
hive之load data与alter table加载数据的区别
zlhblogs的博客
04-25 126
不管是内部表还是外部表，数据都不会到表路径下。不管是内部表还是外部表，都会复制一份数据到hdfs相应路径下。不管是内部表还是外部表，都会转移(mv)这份数据到表路径下。转移后的路径为 ${tbpath}/ds=xx/hs=xx/不管是内部表还是外部表，都会复制一份数据到表路径下。
给hive表和表字段添加或者修改注释
weixin_46786414的博客
12-01 4364
–给表添加注释 ALTER TABLE 表名 SET TBLPROPERTIES (‘comment’ = ‘注释’) –给表字段添加或者修改注释 alter table 表名 CHANGE COLUMN 字段名 要修改的字段名 string(字段类型) comment ‘注释’;
Hive 添加表注释、修改表注释
热门推荐
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
03-19 1万+
添加表注释、修改表注释的语句相同： 以下2个语句都正确： ALTER TABLE table_nameSET TBLPROPERTIES('comment' = '表的新注释'); alter table table_name set tblproperties('comment' = '表的新注释'); 注意：comment一定要是小写的，不能是COMMENT，且必须要加单引号！！！ ...
hive表新增字段，指定新增字段位置，删除字段
Allenzyg的博客
04-23 6661
经验证，hive中修改字段顺序并没有将字段对应的值移动，只是单纯的修改字段名，如果是空表（没有数据），可以使用以上两步；其中CASCADE选项为选填的字段，但是对于分区表，一定要加上，否则其历史分区的元数据信息(metadata)将无法正常更新，导致访问历史分区时会报莫名的错误。背景：项目中，客户使用hive内表，由于逻辑变更，原hive表结构需要调整，新增字段。如果已经添加了字段，可以修改字段时，在修改字段名时带上，在修改回来。实际上，使用alter语句，把保留的字段全部列出来，删除的字段不要列出来。
hive创建数据库到加载数据全过程
最新发布
06-28
以下是使用Hive创建数据库并加载数据的基本流程： 1. **安装和配置Hive**: 首先，你需要在Hadoop集群上安装Hive，通常这会包含HiveServer2和HiveMetastore服务。配置环境变量，确保Hive的库路径和JDBC驱动可用。 2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值