hive的create table 问题

最新推荐文章于 2021-05-23 17:27:25 发布
最新推荐文章于 2021-05-23 17:27:25 发布
阅读量1.6w 收藏 1
点赞数
分类专栏： hive 文章标签： mapreduce insert hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/azhao_dn/article/details/6924060
版权

1) 使用like 关键字 

   在使用hive DDL语句时，遇上了一些问题：

create table if not exists temp.temp1 like vv_20111023；

    表创建成功，describe temp1也输出正常；

    然后执行数据插入操作：

insert OVERWRITE  table temp1 select a.* from vv.vv_20111023 a limit 10;

   执行正常，日志如下：

Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201110171502_22133, Tracking URL = http://haa22:50030/jobdetails.jsp?jobid=job_201110171502_22133
Kill Command = /opt/modules/hadoop/hadoop-0.20.203.0/bin/../bin/hadoop job  -Dmapred.job.tracker=haa22:9001 -kill job_201110171502_22133
2011-11-01 10:32:09,433 Stage-1 map = 0%,  reduce = 0%
2011-11-01 10:32:15,464 Stage-1 map = 8%,  reduce = 0%
2011-11-01 10:32:16,470 Stage-1 map = 10%,  reduce = 0%
2011-11-01 10:32:18,482 Stage-1 map = 25%,  reduce = 0%
2011-11-01 10:32:19,488 Stage-1 map = 37%,  reduce = 0%
2011-11-01 10:32:20,496 Stage-1 map = 47%,  reduce = 0%
2011-11-01 10:32:21,512 Stage-1 map = 53%,  reduce = 0%
2011-11-01 10:32:22,519 Stage-1 map = 54%,  reduce = 0%
2011-11-01 10:32:23,562 Stage-1 map = 59%,  reduce = 0%
2011-11-01 10:32:24,679 Stage-1 map = 64%,  reduce = 0%
2011-11-01 10:32:25,685 Stage-1 map = 76%,  reduce = 0%
2011-11-01 10:32:26,691 Stage-1 map = 80%,  reduce = 0%
2011-11-01 10:32:27,697 Stage-1 map = 90%,  reduce = 0%
2011-11-01 10:32:29,709 Stage-1 map = 98%,  reduce = 0%
2011-11-01 10:32:30,715 Stage-1 map = 100%,  reduce = 0%
2011-11-01 10:32:33,732 Stage-1 map = 100%,  reduce = 25%
2011-11-01 10:32:39,764 Stage-1 map = 100%,  reduce = 30%
2011-11-01 10:32:42,780 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201110171502_22133
Loading data to table temp.temp1
Deleted hdfs://haa22:9000/user/hive/warehouse/temp.db/temp1
Table temp.temp1 stats: [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 2096]
10 Rows loaded to temp1
OK
Time taken: 47.768 seconds

    查看输出结果：

  select * from temp1;

    输出：OK
Time taken: 0.096 seconds

    奇怪的是插入操作显示正常，但是在执行查询时却没有输出结果；

    查看该表的数据文件：

dfs -cat /user/hive/warehouse/temp.db/temp1/000000_0;

    输出：

20111023        18      219.139.149.24  2011-10-23 18:00:01     GET     /vvlog.html     {4A85BC70-9529-45B3-9B92-6F9DF2DB956E}  newbox      9709    13      123132  2       -1      0.0     0.0     newbox1/movie/detail.html       3.11.08.04      \N      中国    湖北省      宜昌市  电信
20111023        18      58.47.57.158    2011-10-23 18:00:01     GET     /vvlog.html     {6C05A61C-84AC-4F23-9211-08A637187F3A}  tre17640    13      207087  1       0       0.0     0.0     tree    3.11.10.12      \N      中国    湖南省  常德市  电信
20111023        18      113.111.164.148 2011-10-23 18:00:01     GET     /vvlog.html     {356C047F-0573-2ABC-8203-53B1913EF441}  bov20555    13      237069  1       0       0.0     0.0     bov     5.03.1001.1111  \N      中国    广东省  广州市  电信
20111023        18      60.189.194.51   2011-10-23 18:00:01     GET     /vvlog.html     {BBEF15BB-8FC9-4CB4-8413-9A4AB12D0F1B}  newbox      18248   13      212575  2       0       2490.665        2489.9822       newbox1/index/index_3.html      3.11.06.29      \N中国    浙江省  台州市  电信
20111023        18      111.79.192.55   2011-10-23 18:00:01     GET     /vvlog.html     {D2867EF8-B912-49E4-B557-9290567765A1}  tre12052    13      152434  1       0       0.0     0.0     tree    3.11.09.26      \N      中国    江西省  宜春市  电信
20111023        18      218.93.113.61   2011-10-23 18:00:01     GET     /vvlog.html     {DC353BFB-3A17-4599-9E28-A080F7D0FD33}  newbox      19367   13      228561  2       0       2401.314        2401.191        newbox1/movie/detail.html       3.10.12.01      \N中国    江苏省  常州市  电信
20111023        18      113.16.173.182  2011-10-23 18:00:01     GET     /vvlog.html     {4EEAC4F0-27AC-414F-BBAA-04220074F9F0}  newbox      15776   13      185594  1       0       0.0     0.0     newbox1/search/result.html      3.11.08.04      \N      中国    广西南宁市  电信
20111023        18      219.146.114.68  2011-10-23 18:00:01     GET     /vvlog.html     {210D0C4B-1BD8-4C9B-9B0D-064217EEF9B9}  newbox      20399   13      235465  2       0       60.371  21.960085       newbox1/movie/detail.html       3.11.10.12      \N      中国山东省  潍坊市  电信
20111023        18      180.113.39.152  2011-10-23 18:00:01     GET     /vvlog.html     {2A887575-077D-456B-941E-46E8AE962869}  newbox      18767   13      237061  1       0       0.0     0.0     newbox1/movie/detail.html       3.11.08.04      \N      中国    江苏省      无锡市  电信
20111023        18      113.106.102.77  2011-10-23 18:00:01     GET     /vvlog.html     {F91F94C2-20AD-0F58-DB1C-7A8AE3D775D4}  newbox      1007    24      1176    1       0       0.0     0.0     newbox1/movie/film/p2p/list-areaid-2-sid-1-p-3.shtml    5.01.0820.2122      \N      中国    广东省  珠海市  电信

很明显，数据已经成功的提取了出来，但是查询却无法输出结果，很有可能时定义表的时候产生的问题。

重新创建一张新表temp2（不使用like语法）

执行数据插入操作：

insert OVERWRITE  table temp2 select a.* from vv.vv_20111023 a limit 10;

查询：

select * from temp2 limit 3；

输出结果：

20111023        18      219.139.149.24  2011-10-23 18:00:01     GET     /vvlog.html     {4A85BC70-9529-45B3-9B92-6F9DF2DB956E}  newbox      9709    13      123132  2       -1      0.0     0.0     newbox1/movie/detail.html       3.11.08.04      \N      中国    湖北省      宜昌市  电信
20111023        18      58.47.57.158    2011-10-23 18:00:01     GET     /vvlog.html     {6C05A61C-84AC-4F23-9211-08A637187F3A}  tre17640    13      207087  1       0       0.0     0.0     tree    3.11.10.12      \N      中国    湖南省  常德市  电信
20111023        18      113.111.164.148 2011-10-23 18:00:01     GET     /vvlog.html     {356C047F-0573-2ABC-8203-53B1913EF441}  bov20555    13      237069  1       0       0.0     0.0     bov     5.03.1001.1111  \N      中国    广东省  广州市  电信



2）自定义列分隔符

     hive目前只支持单字符分割，如果想使用多字符分割，可以采用如下方式：

create table my_table(
col1 string,
col2 string,
col3 string,
col4 string,
col5 string)ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ( "input.regex" = "正则表达式" ) STORED AS TEXTFILE;

注意：表的字段只能是string类型




azhao_dn
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive创建table时指定分隔符
weixin_42418158的博客
05-23 9095
由于hive由java编写，所以row format delimited fields terminated by 后也可以使用java的方式输入特殊字符，比如用java的转义字符——反斜杠()+0+八进制数字可以代表任意ASCII码，或者用\u + 四位数字可以代表任意Unicode字符。 比如hive创建表格的默认分隔符为SOH字符，ASCII码中的序号为1，所以可以用’\001’表示。 数据...
浅谈Hive之第二讲
猪猪
03-15 479
1、克隆表，不带数据 create table if not exists t5 like t4; CREATE TABLE `t5`( `uid` int, `uname` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS INPUTFORMAT 'org.apache.hadoop.mapr...
error: hive create table failed
小透明-溶冰
03-30 1236
Failed: Error in metadata: MetaException(message: Got exception: org.apache.hadoop.security.AccessControlException org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc
[hive]hive中创建表
TOMACAT的博客
07-25 2万+
一、创建表语句 CREATE TABLE IF NOT EXISTS mydb.employees( name STRING COMMENT 'Employee name', salary FLOAT subordinates ARRAY&lt;STRING&gt; deductions MAP&lt;ST...
[Hive_3] Hive 建表指定分隔符
u011250186的博客
05-23 4609
0. 说明 　　Hive 建表示例及指定分隔符 1. Hive 建表 Demo 　　在 Hive 中输入以下命令创建表 user2 create table users2 (id int, name string, age int) row format delimited fields terminated by '\t'; 　　插入数据 insert into users2 values(1,'tom',18); 2. 分隔符类型...
解决show create table中文乱码问题的hive-exec.jar
10-02
针对 hdp-22.4.3.0-227版中的hive1.2.1000的cli show create table乱码的替换jar包。
解决Hive show create table重编译的jar包
01-12
解决Hive show create table重编译的jar包 Hive2.1.1版本
hive解决问题方案
01-09
### Hive 解决问题方案 #### 一、Hive 常用操作命令 Hive 提供了一系列实用的命令来帮助用户高效地管理数据和执行查询。以下是一些关键的命令及其用途： 1. **`hive --help`**：提供帮助信息，列出所有可用的命令...
hive_ods_create_table.sql
09-01
hive_ods_create_table.sql
Hive管理表和外部表的区别
01-07
前言： 所谓外部表，就是Hive并非认为其完全拥有这份数据。...如果需要创建外部表则需要在创表的语句指定为external，如：create external table table_name。 案例： 1.管理表 我现在有一份名为student.
hive 使用create table xxx as select * from xxx where创建一个新表时的问题
weixin_43873339的博客
04-20 1万+
原始表数据最后一条的month字段信息有误，由于无法删除，所以考虑新建一张表将该条数据过滤掉。 原始表信息： 一共四个字段，其中month和day为分区字段。 执行ctas命令 create table stu_partition3 as select * from stu_partition2 where month=201904; 运行结果 可见新表确实过滤掉了数据 ！！！注意新表的描述信息...
Hive drop table,create table没有反应处理方法
weixin_30325487的博客
08-12 522
Hive drop table时没有反应，于是强制中断。 解决之法,对其进行补充。 mysql> show variables like 'char%';第一步：进入mysql,输入：show variables like 'char%'。显示如下 此时的character_set_database编码是utf8，问题就出在这里，如果你是latin1，可能是在建好hiv...
hive 如果表不存在则创建_Hive DDL
weixin_39536806的博客
12-20 1987
Hive DDLHive数据库操作基本语法CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value, ...)];说明：- IF NOT EXISTS：如果不存...
Hive Create table as select
热门推荐
hjw199089的博客
12-21 2万+
Create/Drop/Truncate Table 排查问题触发了一个Create table as 的spark bug，no 爽 create table xxx as select create table table1 as select * from table2 where 2=3; 创建一个表结构与table2表相同的table1，只复制结构不复制数据 create table...
Hive-创建表的几种方式
忧郁王子的专栏
06-20 1990
–加载本地文件创建内部表 hive -e " use test_bigdata; drop table data_result; CREATE table data_result( c1 String ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’; LOAD DATA LOCAL INPATH ‘data_id.txt’ INTO TABLE data_result;" –创建外部表 hive -e " use test_bigdata;
hive创建分区表 指定分隔符,使用“as select”创建配置单元表或“喜欢”并指定分隔符...
weixin_32540913的博客
12-21 1829
Is it possible to do acreate table as select usingrow format delimited fields terminated by '|';or to do acreate table like row format delimited fields terminated by '|';The Language Manual seems t...
Hive 创建表、导入数据和插入数据操作
louzhu_lz的博客
05-09 1万+
Hive create table/ load data/ insert 简单操作 1、Hive创建表----直接使用create语句 (IF NOT EXISTS判断是否已存在表，BY后面接分隔符) CREATE TABLE IF NOT EXISTS 表名(字段1 数据类型,字段2 数据类型) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’; 比如...
大数据之hive_hive的对表的操作命令
WuBoooo的博客
09-02 394
创建表 1．建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] --(COMMENT :注释) [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 分区 [CLUSTERED BY (col_name, col_name
hive create table as
最新发布
06-06
Hive创建表的语法是： CREATE TABLE table_name AS SELECT column1, column2, ... FROM source_table WHERE condition; 其中，AS关键字用于指定创建的表是基于一个查询结果创建的。查询结果中的列将成为新表的列。 例如，以下语句将创建一个名为new_table的表，该表包含从source_table中选择的列： CREATE TABLE new_table AS SELECT column1, column2, column3 FROM source_table;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值