Kettle表输入到Parquet表输出

已于 2022-05-17 14:18:26 修改
阅读量782 收藏
点赞数
分类专栏： Kettle 文章标签： etl 数据库 big data
于 2022-05-09 15:33:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43278973/article/details/124667300
版权
Kettle表输入到Parquet表输出图示local_oracle_table_inputtable_parquet_output注：压缩格式有两种：Gzip 优点：压缩解压速度快 , 压缩率高 , hadoop本身支持处理压缩文件时方便 , 和处理文本一样大部分linux 系统自带 Gzip 命令 , 使用方便Snappy优点：　　高压缩解压速度 , 压缩率还可以学习网址使用Parquet output注意事项：kettle8或以上版本，建议使
摘要由CSDN通过智能技术生成

Kettle表输入到Parquet表输出

图示

在这里插入图片描述

local_oracle_table_input

在这里插入图片描述

table_parquet_output

在这里插入图片描述
在这里插入图片描述

  • 注：压缩格式有两种：

    1. Gzip 优点：

      1. 压缩解压速度快 , 压缩率高 , hadoop本身支持
      2. 处理压缩文件时方便 , 和处理文本一样
      3. 大部分linux 系统自带 Gzip 命令 , 使用方便

    2. Snappy优点：
      　　高压缩解压速度 , 压缩率还可以

最低0.47元/天 解锁文章
辉哥的博客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle资源库表详解
03-23
在Kettle中，资源库表（Repository）是存储元数据和工作流的重要组成部分，它提供了版本控制、项目管理以及团队协作的功能。下面我们将详细探讨Kettle资源库表的相关知识点。 1. **资源库的概念** Kettle资源库是...
kettle将文件存储为orc或者parquet
x²＋(y－√³x²)²＝1的博客
05-24 983
以下是在kettle8.3版本进行测试的。在kettle9.2版本，无法使用组件 Windows本地得配置Windows-Hadoop的环境变量 orc 设置orc output的压缩方式，下面是设置的snappy压缩可以不设置。 有个bug是，orc无法设置字段的编码。如果有中文数据，则会显示乱码 parquet，可以设置UTF8 设置压缩方式 ......
3、千亿级数仓项目（一）在mysql建表通过kettle把数据导入到hive表中
qq_43742212的博客
05-05 3098
导出parquet输出文件 1、在mysql创建10张表，并且导入数据 2、在hive中创建10张表（注意表是否分区） 3、使用kettle把mysql的数据导入到hive中 使用到的组件 表输入、 字段选择、 parquet output 流程图 1、表输入配置 2、字段选择 注意：字段选择的字段顺序和字段类型要和创建的表一致 字段选择指定日期格式 3、Parquet output 注意...
kettle通用插件
Auspicious航的博客
02-01 1087
目前已实现从rest接⼝读取数据到字段、通过sax⽅式解析excel到多个字段。"url":"",其中，method，请求类型：get/post headers，请求头，必须存在，可以为空对象：{}useSSL，对于有些环境，请求https会报PKIX认证的错误，设置该参数为true绕过认证params，post请求时传的参数，method为post的时候，参数params才有效。
一百七十六、Kettle——Kettle配置HDFS输出控件能不能加GZIP等压缩方式?
最新发布
tiantang2renjian的博客
09-13 570
Kettle配置HDFS输出控件能不能加GZIP等压缩方式?
【Kettle】将数据从mysql写入到hive中
qq_41369191的博客
05-04 967
前言 我们设想有一个场景，需要从把数据从mysql写入到hive中，这样大家就可以用到这篇文章的内容，话不多说直接看下面的操作。 业务流程图 创建一个作业把流程配置好 创建mysql表及其数据 创建一个转换进行数据处理及写入 根据业务需求来写需要的业务 获取mysql的表的数据 字段选择 按照需求设置，这里我们的需求...
Spark解决Map算子中调用自定义方法出现的初始化问题
weixin_44736028的博客
05-25 1069
有一批JSON数据需要被要存成parquet格式，但是这些json数据中有一些数据是脏数据, 例如: {‘name’:‘zhangsan’,‘age’:14,‘wo}k’:‘teacher’} 如果存在这样的数据的话，当我直接用下面spark代码将json文件转成parquet文件时则会报错 代码: spark.read.json(“data/data.json”).write.mode(SaveMode.Overwrite).parquet(“data/data.parquet”) 异常: 19/08/2
KETTLE表输入变量执行每一行
06-04
KETTLE表输入变量执行每一行,ORACLE数据库，scott用户，密码oracle
kettle实现多表级联，输出一个目标表
04-26
kettle实现多表级联，输出一个目标表
Kettle 简单示例(数据库表到输出到Excel)
03-31
在"Kettle简单示例(数据库表到输出到Excel)"中，我们主要关注的是如何使用Kettle将数据库中的数据提取出来并导出到Excel文件。这一过程通常包括以下步骤： 1. **创建数据源连接**：首先，我们需要在Kettle中建立到...
elasticsearch_loader：用于将数据文件（json，parquet，csv，tsv）批量加载到ElasticSearch的工具
02-03
elasticsearch_loader 主要特点 批量上传CSV（实际上是任何* SV）文件到Elasticsearch 批量上传JSON文件/ JSON行到Elasticsearch 将镶木地板文件批量上传到Elasticsearch 预定义自定义映射 上传前删除索引 使用文档本身的_id索引文档 直接从网址加载数据 SSL和基本身份验证 Unicode支持 :victory_hand: 外挂程式 为了安装插件，只需运行pip install plugin-name 从redis列表中连续读取并索引到elasticsearch 用于列出和索引来自S3的文件的插件 测试矩阵 python / es 5.
ETL开发工具Kettle中表输入问题
08-28
ETL开发工具Kettle中表输入问题，在表输入的过程中有可能老是导不进去
千亿数仓2_使用Kettle生成日期维度数据
汉子一枚
06-05 1386
使用Kettle生成日期维度数据 需求： 为了后续分析销售订单金额、订单笔数的周环比、周同比、月环比、月同比，需要提前使用Kettle生成时间维度工具（环比是相邻比较，同比是历史同期比较） 按照以下字段生成 2019年一年的日期维度数据 分析： 日期使用 Canlendar、SimpleDateFormat，编写Javascript脚本实现 国家法定节假日实现，需要往http://api.goseek.cn/Tools/holiday?date=20190102 年月日，发送请求，获取结果，以下为该RES
kettle生成节假日数据原来还可以这样操作？
大数据记录
12-22 3854
前言          最近有好多小伙伴私信我，遇到一个问题在做数仓项目中遇到了瓶颈有的需求需要根据节假日去统计信息。但是由于节假日每年都不一样目前提供的方法没法动态的去获取关于节假日的信息。所以自己去编写一个实现类就完成这个操作。 一、需求描述          在Hive中生成一个表用来保存关于日期的工具。目前大公司为了提高效率。创建一个日期表
kettle全量抽取---抽取MySQL数据到HDFS
weixin_45389898的博客
02-12 280
kettle全量抽取：利用kettle实现从MySQL抽取数据到HDFS的hive分区中，并修复hive的分区
Kettle 权限问题
KoHsin_的博客
03-24 2086
Kettle Permission denied 1.问题场景：在windows系统中，执行一段转换操作，从MySQL表中将数据抽取到HDFS文件中，使用Parquet output输出文件，进行转换时报以下错 Parquet output.0-Cause by.org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):Permission denied:user=kohsin.
简单使用Kettle将mysql的数据导入hive中去
qq_34566673的博客
01-01 1464
**使用环境： ——hadoop260-cdh5.14.2版本 ——hive1.1.0-cdh5.14.2版本 ——mysql 5.6.50 ** 首先去国内的镜像网站下载kettle的安装包： 下载完之后解压双击soppn.bat就可以运行了，第一次运行会有点慢，稍等片刻就好了。 拖动添加表输入和表输出 表输入是从mysql中获取数据（需要新建mysql连接，指定数据库名称） 表输出是将数据导出至hive中去 需要将mysql的jar包和hive jdbc standalone的jar包复制到相关的lib
Kettle连接Clickhouse 自定义插件
Yuhang.Pei 's blog
12-04 7831
当前环境： clickhouse 19.15.1.1 （19年的老版本ch ，还未更新过） kettle 8.1.0.0-365 (因为8.1对parquet 支持较好，所以选了这个版本) 当前问题：kettle -8 目前提供的JDBC 没有clickhouse。 需要自己手写插件，集成到kettle 系统。 前期准备：搜到过类似新增JDBC的文章，包括：官网提供的自定义连接的方法 和 神通数据库的案例。 官网提示地址：https://help.pentaho.com/Documen...
将ETL过后的数据以parquet的存储方式导入hive
qq_37283909的博客
04-20 1499
[hadoop@hadoop-01 shell]$ cat g6-train-hadoop2.sh process_date=20180717 echo "step1: mapreduce etl" hadoop jar /home/hadoop/lib/g6-hadoop-1.0.jar com.ruozedata.hadoop.mapreduce.driver.LogETLDriver /...
kettle表输入输出
07-29
回答: 在Kettle中，表输入和表输出是两个常用的步骤，用于从数据库中读取数据和将数据写入数据库。在表输入步骤中，你可以指定一个SQL查询语句，从数据库中读取数据，并将其传递给下一个步骤进行处理。而在表输出步骤中，你可以将数据写入数据库中的指定表中。\[1\]在跨数据库同步数据的过程中，你可以使用表输入步骤从一个数据库中读取数据，然后使用表输出步骤将数据写入另一个数据库中的指定表中。这样可以确保数据格式等方面的一致性。\[1\]在Kettle中，你可以通过创建一个新的输出表来存储要写入的数据。你可以使用SQL语句在数据库中创建一个新表，并指定要写入的字段。例如，你可以使用以下SQL语句创建一个名为t_csdn_02的新表，并从t_csdn_01表中选择id、name和age字段进行写入操作：create table t_csdn_02 as select id, name, age from t_csdn_01 where 1 = 2;\[2\]在Kettle中，你还可以设置一个接收变量，用于传递参数给转换过程中的步骤。你可以在转换中使用该变量，并在执行过程中动态地传递参数值。例如，你可以使用以下代码设置一个接收变量v_id，并在执行过程中插入40条数据：declare v_id number := &id; begin sp_csdn_01(v_id); dbms_output.put_line('block finished'); end;\[3\]通过使用表输入和表输出步骤，你可以在Kettle中实现数据的输入和输出操作，从而实现数据的转移和同步。 #### 引用[.reference_title] - *1* *2* *3* [kettle常见业务操作表输入-表输出](https://blog.csdn.net/valkyrja110/article/details/121304100)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值