hive导入数据到动态分区报错

我在向hive中导入数据到动态分区时,也就是执行以下这个命令的时候

hive> INSERT INTO TABLE myhive.tax
PARTITION(TAX_CATEGORIES) SELECT
id,start_date,end_date,tax_items,tax_amount,
tax_categories FROM myhive.temp;

很不幸的报错了。

Job Submission failed with exception
'java.io.IOException(No valid local directories in property: mapreduce.cluster.local.dir)'
FAILED: Execution Error, return code 1 from
org.apache.hadoop.hive.ql.exec.mr.MapRedTask.
No valid local directories in property:
mapreduce.cluster.local.dir

然后我修改hadoop配置文件mapred-site.xml
路径是/hqy/install/hadoop-3.1.4/etc/hadoop/mapred-site.xml
添加以下内容,解决!

<property>
    <name>mapred.local.dir</name>
    <value>/var/hadoop/hdfs_folder/mapred/local/</value>
</property>

因为Task 在运行的过程中,是需要写本地文件 系 统 的,hadoop中就有配置选项 mapred .local.dir 来配置这个本地文件的写入点,可以有多个写入点,通常如果每个slave上有多个磁 盘 ,分别挂载在 /disk{1…3} 的话,就可以修改我上面那个配置项来解决

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hive是一种基于Hadoop的数据仓库工具,它提供了一种类似于SQL的查询语言HQL来对数据进行处理。当向Hive中插入数据时,可以使用动态分区来指定数据应该存储在哪些分区中。动态分区是一种可以根据数据行中的某些条件动态生成的分区键,通常用于将数据根据不同的条件进行分类存储。 要向Hive中插入数据动态分区,可以按照以下步骤进行操作: 1. 创建包含动态分区的表:首先,需要创建一个Hive表,并指定其中的分区键。这些分区键可以根据数据行的条件动态生成。 ```sql CREATE TABLE your_table ( -- 其他列定义 ) PARTITIONED BY (dynamic_partition_key column_type) ``` 在上面的语句中,`your_table`是表的名称,`dynamic_partition_key`是动态分区的键名,`column_type`是该键对应的列类型。 2. 插入数据到表:使用INSERT INTO语句将数据插入到表中。在INSERT INTO语句中,可以使用VALUES或SELECT语句来指定要插入的数据。 ```sql INSERT INTO TABLE your_table PARTITION (dynamic_partition_key = value) VALUES (value1, value2, ...); ``` 或者 ```sql INSERT INTO TABLE your_table SELECT value1, value2, ... FROM other_table; ``` 在上面的语句中,`value`是动态分区键的值,可以根据数据行的条件动态生成。你可以根据实际情况替换为实际的值或查询结果。 需要注意的是,动态分区键的值可以是任何有效的Hive列类型,包括字符串、整数、日期等。同时,动态分区键的值需要在插入数据之前进行适当的处理和转换,以确保其符合分区的条件和要求。 通过上述步骤,你可以将数据插入到Hive中的动态分区中。请确保在插入数据之前已经创建了包含动态分区的表,并根据实际情况调整表结构和插入语句中的列类型和值。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

铃音.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值