Kettle 抽取导出hive 数据 到 文本文件问题——分隔符

最新推荐文章于 2024-07-17 10:41:39 发布
最新推荐文章于 2024-07-17 10:41:39 发布
阅读量1.5k 收藏 2
点赞数
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LIdahai_daylife/article/details/107666809
版权
博客讨论了在Kettle中抽取Hive数据到文本文件时遇到的字段长度限制和分隔符问题。作者强调了数据不规范导致的英文逗号问题，并提供了两种解决方案：1. 替换英文逗号为中文逗号；2. 使用其他分隔符。还提到Hive建表时使用英文逗号作为分隔符能顺利映射。此外，建议在大规模操作前进行小规模测试，并确保所有步骤与改动同步。
摘要由CSDN通过智能技术生成

Kettle 抽取导出hive 数据 到 文本文件问题——分隔符

在这里插入图片描述
表输入中遇到两个问题，1是 字段太长，无法识别，需要转换成String
2是 中文内容中有英文逗号，我选择英文逗号作为分隔符后导致不该被分割的内容被切开

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

所有需要注意的地方都用红框框了出来

注意kettle date类型导出来是2019/07/28 这种分隔符 所以要在文本文件输出指定格式
并且注意 更改原来自带的Timestamp 为Date 格式，否则hive映射会失败，显示NULL

最后说说今天学到的东西

本来觉得时间类型处理完毕，就可以高枕无忧了，结果英文逗号的问题出来了，问题的原因是源数据库的数据不规范，因此遇到下一个这样的工作，首先要做的就是研究原数据，每个字段的特点，数值类型࿰

最低0.47元/天 解锁文章
李大海的幸福生活
关注
专栏目录
Kettle导出mysql数据到hive
programmerDingl的博客
08-13 496
Kettle导出mysql数据到hive 通过Kettle导出mysql数据到hive有两种方案： ​ 1. 将hive表直接作为表输出进行 先将数据上传到hdfs，然后执行SQL语句load到hive 具体步骤如下： (1）将hive安装目录下，lib里面的所有hive开头的jar包转移至kettle的大数据jar包目录下 ​ data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25\lib (2)
sql截取某个字段字符串后几位_Kettle组件一：如何根据指定符号拆分字符串？
weixin_39888080的博客
12-09 3529
最近经常有同事问我字符串处理相关的问题，这些问题在主流的关系型数据库中处理起来都非常简单，今天就被问到一个问题：如何截取某个字符串字段中第一个逗号之前的数据？比如截取字符串“aaa,bbb,ccc”中第一个逗号前的字符串“aaa”，在Oracle数据库中可以这么处理：select regexp_substr('aaa,bbb,ccc','[^,]+',1,1)from dual；也可以这...
Kettle生成TXT文件文档时，指定文件内容分隔符，也可以指定ASCII码作为分隔符
小语一天
11-27 7557
在使用如左图插件来生成文本文件时，往往需要用到分隔符来区分列内容，通过情况下的键盘上可以看到的特殊字符就可以当作通用的分隔符了，如 |;, |^  等等；     但如果以上情形还不满足的话，可以考虑用ASCII码中的特殊字符来区分，如 我如果想使用 | (竖线和向左的箭头)这个字符串来分为分隔符怎么办呢，如下图格式： 解决办法： 在文件文件输出插件的【内容】设置窗口中的 分隔符 处设置...
kettle从入门到精通 第七十六课 ETL之kettle kettle连接hive教程
最新发布
zhangjin1222的博客
07-17 581
1、群里有小伙伴询问kettle连接hive的demo，今天抽点时间整理下。1）kettle中的lib目录下放hive驱动jar，这里我使用的是kyuubi-hive-jdbc-shaded-1.9.0.jar。6、删除kyuubi-hive-jdbc-shaded-1.9.0.jar，重新运行，出现找不到驱动jar错误，如下图所示。2、下载kyuubi-hive-jdbc-shaded-1.9.0.jar，放到lib目录下面，3、设置hive连接参数，我这里只设置了ip地址、数据库名称、端口信息。
hive数据导出至本地文件，如何指定分隔符
热门推荐
Forever-守望
12-21 2万+
有时候需要将hive库中的部分数据导入至本地，这样子做可视化和小规模的数据挖掘实验都是比较方便的。数据导入至本地的HQL语法如下： INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1;但是hive对字段分隔时默认使用的分隔符是^A，使用文本编辑器打开文件显示出来就是乱码，同时，后续提取字段值时需要指定这个特殊的分隔符，在p
kettle 从oracle数据库导数据到hive 表
03-23
由于公司要把oracle 数据库迁移到hive ，hbase 环境，特建议使用kettle做数据迁移，调试3个小时，终于调试成功，顺手写了个配置文档。
hive 表字段中存在^A 分割符处理
小桥
07-26 1万+
今天接到一个问题，在hive表字段中存在 ^A 内容：   ANokia^A ^A ^A RM-356 ^A ^A/UCWEB8.9.0.253/50/999   实际为 0x01 linux的导出数据默认的分隔符   这样在处理这个字段的时候每次都会误以为多个字段，其实只有一个字段，于是决定写udf处理下这个字段：   udf： public String evaluate(S
mysql到hive调度工具_调度工具（ETL+任务流）
weixin_39689687的博客
12-22 1184
1.区别ETL作业调度工具和任务流调度工具kettle是一个ETL工具，ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)。kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。所以他的重心是用于数据oozie是一个工作流，Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic ...
Hive理论及实践
weixin_50722238的博客
12-06 388
Hive优化、Hive搭建、Hive操作命令、Hive自定义函数、UDF、UDAF、UDTF 动态分区创建 创建表如下 插入表时，需要在最后的字段后面添加上想要设置动态分区的字段，如下是使用指定格式的createTime字段做动态分区。 （3）分区、分桶 Bucket Hive会针对某一个列进行桶的组织，通常对列值做hash。 例如：mysql存储的数据有限，一般记录存到上亿或十亿以上性能不太好。因为一张表太大了，达到mysql支持的上限了。要想存完整数据，就要进行分库（把一张表拆分成
07 数据仓库工具hive
04-19 478
文章目录数据仓库工具hive一、数据仓库的概念1、什么是数据仓库2、数据仓库的主要特征3、 数据仓库与数据库区别二、hive的基本概念以及hive的安装三、hive基本操作四、hive的shell参数五、hive函数六、hive的数据压缩七、hive的数据存储格式八、存储和压缩结合九、调优十、hive语句综合练习 数据仓库工具hive 一、数据仓库的概念 什么是数据仓库，主要用来干嘛的 1、什么是...
kettle批量插入hive2，解决表输出速度慢问题
05-08
解决kettle使用表输出到hive2时，批量提交不起作用导致速度非常慢的问题，重新编译big-data-plugin插件使表输出支持对hive2批量提交，速度由几十条每秒提升到三千条每秒。
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 太学浅，还是就第一种在人理解上最好的一种先记录一下 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT 成功！当然具体的
【Kettle 入门 Windows10 CentOS7】Kettle-8.2.0 入门基础 2019.10.31
在微风中飘落的博客
10-31 1584
Pentaho·Data Integration - Kettle； 简介，软件背景，特点，相关资源，Kettle构架，客户端，服务器； 核心概念：Transformation，Job变量； Kitchen命令行选项； WindowsLinux集群部署； 实际案例；
简单使用Kettle将mysql的数据导入hive中去
qq_34566673的博客
01-01 1542
**使用环境： ——hadoop260-cdh5.14.2版本 ——hive1.1.0-cdh5.14.2版本 ——mysql 5.6.50 ** 首先去国内的镜像网站下载kettle的安装包： 下载完之后解压双击soppn.bat就可以运行了，第一次运行会有点慢，稍等片刻就好了。 拖动添加表输入和表输出 表输入是从mysql中获取数据（需要新建mysql连接，指定数据库名称） 表输出是将数据导出至hive中去 需要将mysql的jar包和hive jdbc standalone的jar包复制到相关的lib
替换hive导出文件字段默认分隔符
iteye_1980的博客
03-15 712
       Hive建表的时候虽然可以指定字段分隔符，不过用insert overwrite local directory这种方式导出文件时，字段的分割符会被默认置为\001,一般都需要将字段分隔符转换为其它字符，可以使用下面的命令:      sed -e 's/\x01/|/g' file  可以将|替换成自己需要的分隔符，file为hive导出的文件。   参考：     h...
Kettle8.2实现抽取文件到Hive
若兰幽竹
03-05 1568
Kettle8.2实现抽取文件到Hive一、Hadoop2.7.3安装（安装略）二、Hive的安装及准备工作1、Hive的安装（本地模式）2、启动hiveserver2服务3、创建weblogs表三、案例演示3.1 准备工作3.2 Kettle作业创建与配置四、总结 说明： 环境：Kettle8.2+虚拟机+Hadoop2.7.3+Hive2.3.3 目标：利用Kettle将本地文件抽取到Hive中 用户：虚拟机root用户安装所有环境（为了方便，生产环境自行更改） 一、Hadoop2.7.3安装（安装
Hive中将查询结果导出到指定分隔符的文件中
DataFlow范式
06-27 9601
在Hive0.11.0版本中新引进了一个新的特性，当用户将Hive查询结果输出到文件中时，用户可以指定列的分割符，而在之前的版本是不能指定列之间的分隔符。 在Hive0.11.0之前版本如下使用，无法指定分隔符，默认为\x01： hive (hive)> insertoverwrite local directory '/home/hadoop/export_hive' select * fr
Kettle 8.2：从文本文件抓取数据到Hive的实战教程
在本资源"weblogs_parse.txt"中，主要涉及的是Kettle（一款数据集成工具）在8.2版本中的应用，特别是在处理Web日志数据的抽取与导入到Hive（一个开源的数据仓库系统）的过程。Kettle被用来抓取和解析网络请求日志，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值