从txt文本中导入数据到Hive中

最新推荐文章于 2022-10-21 12:33:52 发布
最新推荐文章于 2022-10-21 12:33:52 发布
阅读量4.7k 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qxf1374268/article/details/78550715
版权

今天客户这边提供了一个txt文档，要求我们将txt文本中的内容导入到我们的hive库中，其实直接一个load就可以导入了，但是、、、这个txt文本文件有问题，它是以键值对存储的，我可以贴一下一部分数据：

Tue Oct 24 00:00:00 2017
    User-Name = "dsad"
    NAS-Port = qwe
    NAS-IP-Address = 12
    Framed-IP-Address = 321
    Filter-Id = 321
    NAS-Identifier = 321
    Acct-Status-Type = 32
    Acct-Delay-Time = 321
    Acct-Input-Octets = 321
    Acct-Output-Octets = 321

这要怎么弄。。我的想法是，用java将这个文本文件读到虚拟机里面，经过处理以后再写到另一个文件中，最好的格式直接就是一行值。。

101之歌
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
不要再使用Load方式加载数据到Hive了，这种方式很low，你造吗？
石榴姐yyds
06-25 1982
一般很多企业加载HDFS数据到hive时采用load命令，包括很多文章也推荐该命令形式，但是这种命令并不是一种很好的方式，因为他的本质是剪切数据到Hive里面，这样数据其实是不安全的，而且load的时候很耗时间。其实我们在加载数据的时候，还有更高效，更便捷的加载方式，本文重点对这几种方式进行总结对比分析。...
hive测试题(包含万级测试数据文件)
02-19
标题 "hive测试题(包含万级测试...总的来说，这个压缩包提供了一个全面的学习和实践Hive在大数据环境中的功能的机会，涵盖了从数据导入、表建模、SQL查询到数据分析的一系列过程，对于理解和提升Hive技能非常有帮助。
Hive 安装与hive数据的导入导出与3种数据的格式的导入附查看命令
Mogeko1的博客
10-21 928
Hive 安装与数据的导入导出，附3种数据格式的导入（map、array、struct）加查看命令
加载txt文件到Hive表中
石贤芝
05-12 3675
方式有两种： 第一种：本地加载。 load data local inpath '/home/shixianzhi/zz.txt' into table ud.kd_pag..... 第二种：远程加载： 呵呵
txt文件导入到hive分区表中
secret2316352792的博客
06-12 3560
Hive分区表导入txt文件 txt文件数据如下所示 13516987666 196037895 59.28% 25.74 659.02 419 50 语音类:干扰类:覆盖类 baf4d04:baf4d07:baf4d01 196037892:196037895:196037889 20200527 13588688770 190464769 44.87% 22.52 646.7 887 49 覆盖类:干扰类:语音类 4ee71a1:b5a4303:b5a4301 82735521:19046477
txt文件导入hive_本地文件导入hive案例
weixin_42134097的博客
01-30 1502
在上一篇文章中，我们已经完成了hive的安装，这里通过一个简单案例，展示本地文件上传hive的过程一、创建本地文件数据在/opt/module/目录下创建datascd /opt/module mkdir datas在/opt/module/datas/目录下创建test.txt文件并添加数据，分隔符是tab键cd datas touch test.txt vim test.txt1001 ...
hive数据仓库的建立.zip
08-31
通常，数据会先被存储在HDFS上，然后使用`LOAD DATA`命令将数据导入到Hive表中。数据预处理也是这一阶段的关键，包括数据清洗、转换等，以确保数据质量。 在数据仓库建立完成后，你就可以使用HQL进行查询了。HQL...
用于Hive学习的数据
01-08
通过这些数据和示例查询，学习者可以深入了解如何在Hive环境中处理大规模数据，包括数据导入、数据转换、聚合查询、连接操作以及生成报告等步骤。此外，这些数据还提供了实践数据挖掘和机器学习的基础，例如用户分类...
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）
05-29
实验涵盖了从MySQL数据导入到HDFS，通过Kafka和Flink进行数据流处理，再到Hive和Impala的查询分析。 通过这样的对比实验，我们可以了解到在大数据处理环境中，选择正确的文件格式对于系统性能有着显著影响。在设计...
7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中
最新发布
05-29
在本文中，我们将探讨一个具体的NIFI应用场景，即如何将从MySQL数据库中查询得到的JSON数据转换成TXT格式，并存储到HDFS（Hadoop分布式文件系统）中。这个场景在大数据处理和分析中非常常见，因为MySQL是常用的关系...
将win本地文件数据导入hive表中（通用方法）
小小良
08-21 3144
重要说明： 1、本地文件理论上可以是任意格式的数据(.txt , .json , 字符串...) 2、过程完全可以复用(同种类型问题) 数据源示例：json格式数据 [ { "cityId": 19, "cityName": "北京", "province": "北京", "shortWord": "B", ...
hive转义字符
学习笔记
12-12 4443
CREATE TABLE escape (id STRING, name STRING)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '"';  LOAD DATA LOCAL INPATH '/home/tianzhao/book/escape.txt'  OVERWRITE INTO TABLE escape;  escape.
hive 换行符特殊字符规避
minHyper的专栏
06-14 9122
在研究hive的时候遇到一些问题，在oracle表中查询很正常，结果导入到hive中就很不理想。 究其原因其实是因为hive是解析文本文件导致无法处理带分隔符或者回车符或者特殊字符，转义字符等等问题。 因为oracle在存储数据的时候有自己的一套二进制流写入方法，对于特殊字符基本都支持。 所以在这里我研究了采用sqoop和hive来兼容这种方法： 第一步: 改造sqoop文件 sqoop
Hive将txt、csv等文本文件导入hive表
热门推荐
Aurora Silent
07-25 3万+
1、将txt文本文件放置hdfs目录下2、登录hive并进入到指定数据库3、创建表create external table if not exists fun_user_external ( tid INT, userid STRING, pwd STRING, create_time BIGINT, email STRING ... ) ROW
加载数据到hive中的方式
梁小明的博客
10-20 1万+
加载数据到hive中的方式 官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 .
java创建hive表并导入本地txt文件数据方法模板
cucgyfjklx的博客
04-12 1万+
java创建hive表并导入本地txt文件数据方法模板
hive 数据导入 导出
qq_43192537的博客
09-23 1510
hive中数据导入 1. 加载本地文件studet.txt到hive(拷贝+追加) 注：/opt/moudles/cdh/hive-0.13.1-cdh5.3.6/input是本地文件所在路径 注：student表中 只有两个字段 id name hive (default)> load data local inpath ‘/opt/moudles/cdh/hive-0.13.1-cd..................
hive导入txt文件
song_quan_的博客
12-07 5301
1、将txt文本文件放置hdfs目录下 2、登录hive并进入到指定数据库 3、创建表 create external table if not exists fun_user_external ( tid INT, userid STRING, pwd STRING, create_time BIGINT, email STRING ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '`' STO
hadoop学习工作总结（五）之从txt文件导数到hive
xiaozhuangfeng的专栏
09-02 901
--建维表(TRA_PAC_HOW_RELATION_INFOS) drop table TMP_CX_VEHICLE_LICENCE_CODE; CREATE TABLE TMP_CX_VEHICLE_LICENCE_CODE (   province       STRING  comment "省份",   shortened_form STRING  comment "简称",
如何将hive中的数据导入到mysql
04-03
可以使用以下两种方法将Hive中的数据导入到MySQL中： 1. 使用Sqoop导出数据到MySQL Sqoop是一个开源工具，用于在Hadoop和关系型数据库间进行数据传输。以下是导出数据到MySQL的示例命令： ``` sqoop export \ --connect jdbc:mysql://mysql_host:port/mysql_database \ --username mysql_username \ --password mysql_password \ --table mysql_table \ --export-dir hive_table \ --input-fields-terminated-by ',' \ --input-lines-terminated-by '\n' \ --input-null-string '\\N' \ --input-null-non-string '\\N' ``` 其中，mysql_host是MySQL主机名或IP地址，port是MySQL端口号，mysql_database是MySQL数据库名称，mysql_username和mysql_password是MySQL登录凭据，mysql_table是要导入的MySQL表名，hive_table是要导出的Hive表名。 2. 使用Hive自定义输出格式将数据导出到MySQL Hive支持自定义输出格式，可以将数据输出为文本文件，并使用LOAD DATA命令将其导入到MySQL中。以下是使用Hive自定义输出格式将数据导出到MySQL的示例命令： ``` INSERT OVERWRITE DIRECTORY '/tmp/hive_output' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' SELECT * FROM hive_table; LOAD DATA LOCAL INFILE '/tmp/hive_output' INTO TABLE mysql_table FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'; ``` 其中，hive_table是要导出的Hive表名，mysql_table是要导入的MySQL表名。在第一条命令中，将数据输出为以逗号分隔的文本文件，存储在/tmp/hive_output目录中。在第二条命令中，使用LOAD DATA命令将文本文件导入到MySQL表中。请注意，LOAD DATA命令需要在MySQL客户端中执行。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值