将hdfs文件导入hive表

最新推荐文章于 2024-08-25 03:54:55 发布
最新推荐文章于 2024-08-25 03:54:55 发布
阅读量2.2k 收藏 5
点赞数
分类专栏： hadoop相关 文章标签： 大数据 操作系统 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luoshi0801/article/details/84396985
版权
本文介绍了如何将HDFS上经过lzo压缩的seqFile导入到Hive外部分区表。首先创建匹配seqFile格式的Hive表，然后使用ALTER TABLE命令添加分区并指定HDFS文件路径。加载seqFile时，Hive默认忽略key，根据指定分隔符解析value。若需要自定义解析方式，可配置mapred.mapper.class等参数。
摘要由CSDN通过智能技术生成

 

hive sql对hdfs的操作最终都会转化为mr任务，下面介绍如何将已经存在的hdfs文件“导入”hive表，很简单

 条件及要求：

1）hdfs文件为经过lzo压缩的seqFile

2）seqFile数据样例

    127.0.0.1      ae8186613401633040361974|1340163304040|0.1|hsf.qa.test|yuanfeng|test_07_01
     其中key是hostIp, value为一条日志，格式为：traceid|time|rpcid|appname|querykey|msg

3）hive表是外在分区表

 

步骤1. 建立hive表

CREATE EXTERNAL TABLE biz_eagleeye (traceId STRING, time STRING, rpcId STRING,
appName STRING, queryKey STRING, msg STRING, kvMap STRING)
PARTITIONED BY(pt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\|'
STORED AS SEQUENCEFILE;

其中EXTERNAL和PARTITIONED关键字指明表为外表和分区表，STORED AS SEQUENCEFILE是专门指定加载seqFile数据源的，如果是普通文本可换成TEXTFILE

 

最低0.47元/天 解锁文章
luoshi0801
关注
专栏目录
hive ,从hdfs把数据文件load导入到表
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-27 2万+
hive> load data inpath 'hdfs://ns1/abc/sales_info/hello/sales_info.txt' overwrite into table sales_info partition(dt = '2019-04-26'); 1 原数据文件（已经不存在了，是从原路径移动到了新路径下）： 如果从本地导入后本地的原数据文件依然存在，相当于复制过去；...
将hdfs文件加载到hive分区表
lislie_的博客
01-11 5649
shell脚本如下： 如果目标表有分区，先清除分区 alter table table_name drop partition (dt >= ‘20181211’); #!/bin/bash cu_date=`date +%Y%m%d` begin_date="20181211" while [ "$begin_date" -le "$cu_date" ]; do echo "${b...
Hive--HDFS数据和本地数据导入hive表
修行的博客
11-09 5045
1、HDFS数据导入Hive表以及表修复 a.将数据传到HDFS #创建文件夹 hadoop fs -mkdir -p /user/hive/warehouse/stg/test/bus_date=20191101 #将本地文件传到hive建表时的hdfs路径下 hadoop fs -put /opt/datas/test.txt(要上传的文件) /user/hive/warehouse/stg/test/bus_date=20191101(上传的目标文件夹) tips: 若是需要将文件夹数据全部导入
hdfs导入hive
bwf317的博客
06-22 640
从hdfs导入数据到hive表中（脚本） 脚本存于/opt/data/loginit/1doit19_datayi/shells -- app入库脚本开发 #!/bin/bash ###################################### # # @author : bao # @date : 2021-01-11 # @desc : app端埋点日志入库 # @other ####################################
hive读取hdfs文件内容并存入表中
weixin_29419279的博客
08-01 73
给大家整理了一些有关【HDFS,Hive,F】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/31545.htmlhttps://edu.51cto.com/course/27963.html使用Hive读取HDFS文件内容并存入表中的完整指南 在大数据处理中，Apache Hi...
一百一十一、Hive——从HDFS到Hive的数据导入（静态分区、动态分区）
tiantang2renjian的博客
05-11 3931
从HDFS到Hive的数据导入（静态分区、动态分区）
Spark读取hdfs文件并写入hive表中
zl
07-15 3088
package com.job import org.apache.commons.cli.{BasicParser, CommandLine, Options} import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.types.{StringType, StructType} case class Transfer2HiveConfig(query_day: String) object Transf.
Java将hive数据导入到hdfs_sqoop数据导入到Hdfs 或者hive
weixin_35888603的博客
02-26 166
准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql://172.16.71.27:3306/babasport \--user...
将hdfs文件加载入hive表
someInNeed的博客
10-10 1772
1.第一种方法当存储路径与表所在路径不一致时，可以load进去，如果表中字段类型不对应，该字段的值将会为空 load data inpath 'hdfs://hadoop01:9000/tmp/sales_info.txt' overwrite into table sales_info partition(dt = '20191215'); 2.当存储路径与表所在路径一致时，可以采用添加分区的方式 alter table ods_nshop.ods_01_releasedatas add p..
将hdfs文件加入hive分区表中
qq_41123269的博客
01-07 2444
先把文件放入hdfs,或用flume采集到hdfs,参看另一篇，再把hdfs文件加载到hive表中 alter table ods_nshop.ods_01_releasedatas add partition (bdp_day='20191215') location 'hdfs://hadoop01:9000/data/nshop/ods/release/bdp_day=20191215' ...
把hdfs上面的文件定时导入到hive里面
qq_42506914的博客
03-22 783
创建分区表 CREATE external TABLE ext_startup_logs( userId string, appPlatform string, appId string, startTimeInMs bigint, activeTimeInMs bigint, appVersion string, city string) PARTITIONED BY (y string, ...
03 hdfs 文件操作（导入/导出）
ingha的博客
11-14 966
目录的绝对路径创建目录: hdfs dfs -mkdir 目录的绝对路径创建文件: hdfs dfs -touch 文件的绝对路径移动目录/文件: hdfs dfs -mv 要移动的目录或者文件的绝对路径 目标位置绝对路径复制目录/文件: hdfs dfs -cp 要复制的目录或者文件的绝对路径 目标位置绝对路径删除目录/文件: hdfs dfs -rm [-r] 要删除的目录或者文件的绝对路径。
定时将数据导入到hive中
baiyunl的专栏
03-16 519
应用crontab定时将数据导入到hive中：在调用/bin/hive -f 'loadData.sql' 的时候,报错：Cannot find hadoop installation: $HADOOP_HOME must be set or hadoop must be in the path。 查资料得知是由环境变量在crontab中不一定可识别引起的。于是在脚本中前面加入export HA...
hdfs 文件读写hive表文件
最新发布
weixin_42303365的博客
08-25 42
我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1如何在HDFS上进行文件的读取与写入Hive表 在大数据处理的世界中，Hadoop生态系统是一个至关重要的组成部分。特别是HDFS（Hadoop分布式文件系统）和Hive，它们通常一起使用来处...
hdfs文件加载进hive表的两种方法
qq_42456324的博客
12-17 2254
1.当存储路径与表所在路径不一致时，可以load进去，如果表中字段类型不对应，该字段的值将会为空 load data inpath 'hdfs://hadoop01:9000/tmp/sales_info.txt' overwrite into table sales_info partition(dt = '20191215'); 2.当存储路径与表所在路径一致时，可以采用添加分区的方式 alter table ods_nshop.ods_01_sales add partition (dt=.
【Hive】创建Hive表格，从HDFS中加载数据
懂得一千零一种,赋予你失败的方法！
12-25 7996
文章目录一、创建Hive基础表二、上传HDFS数据集三、Hive表加载数据集 一、创建Hive基础表 CREATE DATABASE IF NOT EXISTS test; USE test; CREATE EXTERNAL TABLE student ( name STRING, age INT, gpa string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' S.
加载hdfs的parquet文件到hive的分区表注意事项
weixin_43525585的博客
04-01 1534
加载hdfs的parquet文件到hive的分区表注意事项 加载hdfs的parquet文件到hive的分区表中时，数据加载不进去 问题场景描述 1、使用spark将文件以parquet格式写入到HDFS中的指定路径下hdfs://myserver:8020/user/hive/warehouse/wechat，然后使用 ALTER TABLE wechat SET LOCATION ‘hdfs...
python连接hdfs和hive，将hdfs中的csv文件导入hive的数据表中
04-04
可以使用PyHive库连接Hive和HDFS，并使用HiveQL语句将HDFS中的CSV文件导入Hive数据表中。下面是一个示例代码： ```python from pyhive import hive import pandas as pd # 连接Hive conn = hive.connect(host='localhost', port=10000, username='username') # 创建Hive表 create_table_qry = """ CREATE TABLE IF NOT EXISTS my_table ( col1 STRING, col2 INT, col3 FLOAT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' STORED AS TEXTFILE """ with conn.cursor() as cur: cur.execute(create_table_qry) # 从HDFS中导入数据到Hive表 load_data_qry = """ LOAD DATA INPATH '/path/to/csv/file.csv' INTO TABLE my_table """ with conn.cursor() as cur: cur.execute(load_data_qry) # 查询导入的数据 select_qry = """ SELECT * FROM my_table """ df = pd.read_sql(select_qry, conn) print(df.head()) # 关闭连接 conn.close() ``` 其中，需要将`host`和`username`参数替换为实际的Hive主机名和用户名，将`/path/to/csv/file.csv`替换为实际的HDFS中CSV文件的路径。在上述代码中，使用Pandas库读取Hive数据表中的数据并打印前5行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值