Hive把数据直接上传到分区目录上、hive表导入CSV文件时忽略首行、

四月天03

已于 2022-09-04 21:24:11 修改

阅读量1.5k

点赞数

分类专栏： Hive 文章标签：大数据

于 2022-08-17 19:34:30 首次发布

本文链接：https://blog.csdn.net/qq_22473611/article/details/126392909

版权

Hive 专栏收录该内容

13 篇文章 40 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在Hive中处理CSV文件导入时忽略首行，以及数据直接上传到分区目录的三种方法，包括上传数据后修复、添加分区以及创建文件夹后使用`load local inpath`。同时提供了在数据预处理阶段删除字段名称的步骤。

摘要由CSDN通过智能技术生成

Hive把数据直接上传到分区目录上

1）方式一：上传数据到HDFS后修复

首先上传数据到HDFS中：

curr_date=`date +'%Y%m%d'`
startdate=date -d"-1 day $curr_date="+%Y%m%d

hdfspath="/user/hive/warehouse/dept_partition2/date=$curr_date"

#创建hdfs目录
hdfs dfs -mkdir -p /user/hive/warehouse/dept_partition2/date=$curr_date
#上传文件到hdfs目录
hdfs dfs -put /opt/module/datas/dept.txt /user/hive/warehouse/dept_partition2/date=$curr_date;

hive (default)> select * from dept_partition2 where month='201709' and day='12';

发现是查不到数据的，然后执行执行修复命令：

hive>

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

四月天03

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
Hive把数据直接上传到分区目录上、hive表导入CSV文件时忽略首行、

表时，发现列头被当做数据导入到。向表中load数据过滤首行。
复制链接

扫一扫

专栏目录

订阅专栏

hive中导入csv,把csv导入到hive表中步骤

weixin_42412250的博客

03-19

1442

本博文解决的问题：现在我们有一个CSV格式的一个文件download.csv，里面是我们需要的数据，想把数据装入到数据impala数据库中1.首先整理文本文件打开download.csv，选择文件，另存为，保存类型：制表符分隔.txt2.创建表drop table if exists test.cde_map_info_load;CREATE TABLE test.cde_map_info_lo...

Hive SQL上传csv文件忽略第一行

流风雨情的博客

06-02

1303

建表时加入 tblproperties TBLPROPERTIES("skip.header.line.count"="1"); 例子 CREATE TABLE `ods_callcenter.sdm_call`( `id` string, `call_uuid` string, `transaction_id` string, `type` string, `status` string, `caller_number` string, .

参与评论您还未登录，请先登录后发表或查看评论

HIVE创建分区表并将csv文件导入

lww1993的专栏

06-03

2401

1.创建分区表: CREATETABLEIFNOTEXISTS first_table( user_idSTRING, salarydecimal(10, 2), )PARTITIONEDby(part_yearlySTRING) ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\,'; 2.将csv文件导入: LOAD DATA LOCAL INPATH '/home/user_salary.csv' OVERW...

【HIve】Hive显示列名和读取csv文件不读取表头的设置

HR的博客

01-18

3366

Hive显示列名和读取csv文件不读取表头的设置显示列名要想在hive查询语句中只显示列名，我们可以在hive命令行中手动开启（但是这样子是有表名的） set hive.cli.print.header=true; 只显示列名的方式 set hive.resultset.use.unique.column.names=false; 上面的方式虽然达成了要求，但是不是永久生效的，需要每次开启hive时，都要执行一次，为了让此配置文件永久的生效，我们可以修改配置文件 <property>

Hive 加载数据时跳过前 n 行

JIE的博客 --- moon_coder

11-12

871

在创建表的时候为其指定跳行属性。在建表之后添加跳行属性。

hive 加载csv格式去除首行

mc的博客

02-11

3080

使用hive时，有时候会碰到数据源是csv格式的文本。如果直接加载进hive，也会把csv的表头【schema】添加到hive中，形成脏数据。解决办法如下：参数项 tblproperties( "skip.header.line.count"="n", -- 跳过文件前n行 "skip.footer.line.count"="n" -- 跳过文件后n行 ) 直接在建表时指定上述参数项，例...

用hive Load csv格式的数据时跳过第一行，schema的方法

yyf960126的博客

02-21

6538

csv格式的文件有时第一行会带上schemal，就像是数据库的列名，那么在创建hive表之后，要加载数据时就会产生问题，如下是解决方法：在建表语句中添加 create table( 列名数据类型 comment'' ) row format delimited fields terminated by ','--csv文件以逗号分隔 tblproperties("skip.header.li...

【大数据】Hive: 创建分区表（partition表）及分区表导入csv文本文件数据

GHD

11-21

4421

2018.11.21 文章目录前言方法前言某项目生产环境中的Hive是按月份分区，而测试环境的没有分区，导致部分功能无法验证。方法基本思路：分别创建两个表，一张是分区表，另一张是非分区表，表结构相同；再通过insert语句将非分区表的数据插入到分区表1。要注意是，分区表的插入分两种：静态插入和动态插入。在一般情况下，Hive不建议直接使用动态插入2，所以有个默认情况下是不允许使用动态...

Hive导入数据时忽略文件第一行（建表时加入 tblproperties）

Julyaaaa的博客

09-16

3959

create table if not exists submission( User_id int, Merchant_id int, Coupon_id int, Date_received string, Probability int ) row format delimited fields terminated by ',' stored as textfile tblproperti...

在Hive表中加载数据时跳过第一行

x²＋(y－√³x²)²＝1的博客

03-30

1396

在Hive加载数据的时候，往往有些格式化的数据文件（比如txt，csv、excel等）的第一行都是字段名，这时候，我们就得跳过第一行去加载。因为Hive的数据文件不需要加载列名什么的。那么就得在创建表的时候就指定跳过第一行（加载数据的时候，跟往常还一样，不变）。下面是创建一个普通的Hive外部表 create external table student_ext ( sno int, sn...

hive导数据去掉首行

weixin_72871448的博客

12-12

755

当hive表建好后，首行列名称有时会重复，如何去掉首行列名称

Hive读取表数据时跳过文件行首和行尾

Yage的博客

05-23

851

有时候用hive读取外表数据时，比如csv这种类型的，需要跳过行首或者行尾一些和数据无关的或者自动生成的多余信息，这里可以用tblproperties属性设置来实现，建表的时候设置如下： create external table order_products_prior( order_id string, product_id string, add_to_cart_order string, ...

Hive表如何去掉首行

小财迷嘻嘻的博客

01-17

2850

hive映射HDFS文件时，有的文件第一行是字段名，那么如何去掉首行呢？新建表时过滤首行： hive > create table hive_movies ( rank int, src string, name string, box_office string, avg_price int, avg_people int, begin_date string ) row format delimited fields term

Hive导入/导出 : 创建分区表及分区表导入csv文本文件数据

qq_36079077的博客

06-05

3189

基本思路：分别创建两个表，一张是分区表，另一张是非分区表，表结构相同；再通过insert语句将非分区表的数据插入到分区表1。要注意是，分区表的插入分两种：静态插入和动态插入。在一般情况下，Hive不建议直接使用动态插入2，所以有个默认情况下是不允许使用动态分区插入：hive.exec.dynamic.partition=false；但在Hive 0.9.0及之后的版本，上述参数默认为true，虽然如此却有另一个参数约束着动态分区插入：hive.exec.dynamic.partition.mode=str

hive：导入CSV文件