Kettle 抽取导出hive 数据 到 文本文件问题——分隔符

最新推荐文章于 2021-03-15 17:10:58 发布
最新推荐文章于 2021-03-15 17:10:58 发布
阅读量1.5k 收藏 2
点赞数
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LIdahai_daylife/article/details/107666809
版权

Kettle 抽取导出hive 数据 到 文本文件问题——分隔符

在这里插入图片描述
表输入中遇到两个问题，1是 字段太长，无法识别，需要转换成String
2是 中文内容中有英文逗号，我选择英文逗号作为分隔符后导致不该被分割的内容被切开

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

所有需要注意的地方都用红框框了出来

注意kettle date类型导出来是2019/07/28 这种分隔符 所以要在文本文件输出指定格式
并且注意 更改原来自带的Timestamp 为Date 格式，否则hive映射会失败，显示NULL

最后说说今天学到的东西

本来觉得时间类型处理完毕，就可以高枕无忧了，结果英文逗号的问题出来了，问题的原因是源数据库的数据不规范，因此遇到下一个这样的工作，首先要做的就是研究原数据，每个字段的特点，数值类型࿰

最低0.47元/天 解锁文章
李大海的幸福生活
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
成功解决DataX从Hive导出Oracle的数据乱码问题！
笑看风云路的博客
08-14 727
大数据与RDBMS之间的数据导入和导出都是企业日常数据处理中常见的一环，该环节一般称为e-t-l即。市面上可用的etl工具和框架很多，如来自于传统数仓和BI圈的, 来自于hadoop生态圈的，抑或使用计算引擎直接编写代码完成etl作业。在这里跟大家分享一次使用datax从hive导出数据到oracle的作业的时候，出现了两边数据的编码集不一致导致的乱码问题，希望对大家遇到相同的问题时有所帮忙。在数据同步、传输过程中，存在用户对于数据传输进行特殊定制化的需求场景，包括裁剪列、转换列等工作，可以借助ETL。
Hive表中四种不同数据导出方式以及如何自定义导出列分隔符
NIITYZU的专栏
12-29 1万+
Hive四种数据导出方式介绍
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 太学浅，还是就第一种在人理解上最好的一种先记录一下 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT 成功！当然具体的
Hive分隔符
飞朋的博客
04-04 2676
Table of Contents 特殊字符 通过digraph输入 测试数据 查看隐藏字符的方法 cat vim 特殊字符 以下这些字符是可以在Hive中应用，并且DATAX也支持的： char digraph hex dec official name Unicode ^@ NU 0x00 0 NULL (NUL)N ...
Kettle生成TXT文件文档时，指定文件内容分隔符，也可以指定ASCII码作为分隔符
小语一天
11-27 7465
在使用如左图插件来生成文本文件时，往往需要用到分隔符来区分列内容，通过情况下的键盘上可以看到的特殊字符就可以当作通用的分隔符了，如 |;, |^  等等；     但如果以上情形还不满足的话，可以考虑用ASCII码中的特殊字符来区分，如 我如果想使用 | (竖线和向左的箭头)这个字符串来分为分隔符怎么办呢，如下图格式： 解决办法： 在文件文件输出插件的【内容】设置窗口中的 分隔符 处设置...
hive数据导出至本地文件，如何指定分隔符
热门推荐
Forever-守望
12-21 2万+
有时候需要将hive库中的部分数据导入至本地，这样子做可视化和小规模的数据挖掘实验都是比较方便的。数据导入至本地的HQL语法如下： INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1;但是hive对字段分隔时默认使用的分隔符是^A，使用文本编辑器打开文件显示出来就是乱码，同时，后续提取字段值时需要指定这个特殊的分隔符，在p
Kettle工具将数据查询导出csv文件格式方法
01-20
在本文中，我们将深入探讨如何使用Kettle将数据查询结果导出为CSV（逗号分隔值）文件格式。 首先，我们需要创建一个新的转换。在Kettle环境中，点击“文件”菜单，然后选择“新建”->“转换”。这将打开一个空白的...
kettle循环导出数据到excel生成多个sheet页
08-08
在IT行业中，ETL（Extract, Transform, Load）是一个关键的过程，用于从各种数据源抽取数据，进行转换处理，然后加载到目标系统，如数据仓库。Kettle是Pentaho公司开发的一款开源ETL工具，它提供了强大的数据处理...
kettle循环导出数据到Excel中
05-24
当我们面对需要将大量数据从Oracle数据库导出并存储到Excel文件中的场景时，Kettle的循环处理功能就显得尤为重要。下面将详细解释如何利用Kettle实现这一目标，并探讨可能的扩展应用。 首先，我们创建一个Kettle...
kettle 从oracle数据库导数据到hive 表
03-23
由于公司要把oracle 数据库迁移到hive ，hbase 环境，特建议使用kettle做数据迁移，调试3个小时，终于调试成功，顺手写了个配置文档。
Kettle数据同步导出链接hive2几种方法
hj0303的博客
03-10 991
Kettle A． 优缺点 kettle的优点： 1.可视化界面。一个可视化界面足以成为选择kettle的首要原因。毕竟，可视化意味着更方便人的使用。 2.元数据库。元 数据库 用来保存kettle任务的元信息，方便管理任务，通常叫做资源库（ repository ）。 3.自带工作流并且支持增量抽取。 4.可以配置成一套逻辑。例如：抽取数据时，目标表不存在则插入，存在则更新，而目标表中存在...
简单使用Kettle将mysql的数据导入hive中去
qq_34566673的博客
01-01 1466
**使用环境： ——hadoop260-cdh5.14.2版本 ——hive1.1.0-cdh5.14.2版本 ——mysql 5.6.50 ** 首先去国内的镜像网站下载kettle的安装包： 下载完之后解压双击soppn.bat就可以运行了，第一次运行会有点慢，稍等片刻就好了。 拖动添加表输入和表输出 表输入是从mysql中获取数据（需要新建mysql连接，指定数据库名称） 表输出是将数据导出至hive中去 需要将mysql的jar包和hive jdbc standalone的jar包复制到相关的lib
Kettle导出mysql数据到hive
programmerDingl的博客
08-13 448
Kettle导出mysql数据到hive 通过Kettle导出mysql数据到hive有两种方案： ​ 1. 将hive表直接作为表输出进行 先将数据上传到hdfs，然后执行SQL语句load到hive 具体步骤如下： (1）将hive安装目录下，lib里面的所有hive开头的jar包转移至kettle的大数据jar包目录下 ​ data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25\lib (2)
hive 表字段中存在^A 分割符处理
小桥
07-26 9975
今天接到一个问题，在hive表字段中存在 ^A 内容：   ANokia^A ^A ^A RM-356 ^A ^A/UCWEB8.9.0.253/50/999   实际为 0x01 linux的导出数据默认的分隔符   这样在处理这个字段的时候每次都会误以为多个字段，其实只有一个字段，于是决定写udf处理下这个字段：   udf： public String evaluate(S
Hive中将查询结果导出到指定分隔符的文件中
DataFlow范式
06-27 9580
在Hive0.11.0版本中新引进了一个新的特性，当用户将Hive查询结果输出到文件中时，用户可以指定列的分割符，而在之前的版本是不能指定列之间的分隔符。 在Hive0.11.0之前版本如下使用，无法指定分隔符，默认为\x01： hive (hive)> insertoverwrite local directory '/home/hadoop/export_hive' select * fr
Kettle8.2实现抽取文件到Hive
若兰幽竹
03-05 1516
Kettle8.2实现抽取文件到Hive一、Hadoop2.7.3安装（安装略）二、Hive的安装及准备工作1、Hive的安装（本地模式）2、启动hiveserver2服务3、创建weblogs表三、案例演示3.1 准备工作3.2 Kettle作业创建与配置四、总结 说明： 环境：Kettle8.2+虚拟机+Hadoop2.7.3+Hive2.3.3 目标：利用Kettle将本地文件抽取到Hive中 用户：虚拟机root用户安装所有环境（为了方便，生产环境自行更改） 一、Hadoop2.7.3安装（安装
关于padding=’same’/’valid’
兰钧的博客
09-09 8466
设成same会自动加padding，保证输出是同样的大小。 padding = same，是指输出图像要和输入一样，至于padding是多少，是推断出来的。 可以这样理解，输出就是输入/步长，其他的padding工作API会帮你做。 输出size = （输入size-kernel size-2P）/ stride +1 padding除不尽的时候，比如2p = 1, 那么就在一边加1，一...
Kettle转换
weixin_45495390的博客
03-15 530
Kettle转换 Concat fields 将目标字符拼接为新字符 Target Field Name:生成目标字段名 Separator：拼接字段使用什么字符进行评价操作 Enclosure：用于缺点那些数据是String类型的 值映射转换 使用字段名：数据源字段名 目标字段名：映射后的字段名 默认值：不匹配时使用的默认值 原值：数据源的值 目标值：转换后映射值 【注意】 ​ 原值为Number类型时，使用String类型输入，用数字x.0形式进行映射 ​ Number类型不能作为原值 增加常量 为
关于HIVE中空格符等符号的问题【已解决】
福贵儿的博客
12-05 4686
1.问题描述 最近在用sqoop做数据迁移的时候，发现Hive中的数据突然多了几条，为什么多了几条呢?百思不得其解，后来，经过查询，用sqoop将数据导入到Hive的时候，有时候默认会有个空格，导致一条数据变成了几行，ok，我回去再查询数据的时候，果然，确实出现了换行的问题，我就不截图了，问题找到了，那就找解决方案吧！ 2.解决方案 我使用的是下面这一句: ...
kettle文本文件多种分隔符
最新发布
06-01
Kettle是一款流行的ETL工具，支持多种文本文件分隔符。以下是一些常见的分隔符： 1. 逗号（,）：是最常用的分隔符之一，用于分隔CSV格式的文件。 2. 制表符（\t）：也是常用的分隔符之一，用于分隔TSV格式的文件。 3. 分号（;）：在某些国家，如法国、德国和意大利，分号被用作CSV文件的分隔符。 4. 竖线（|）：在某些系统中，如Oracle数据库，管道符被用作CSV文件的分隔符。 5. 空格（ ）：在某些情况下，空格被用作CSV文件的分隔符。 在使用Kettle时，您可以根据您的数据文件的实际情况选择合适的分隔符。同时，Kettle还支持自定义分隔符，您可以根据您的需要设置适合自己的分隔符。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值