kettle使用笔记（hive,hbase性能测试篇）

最新推荐文章于 2024-02-01 10:38:20 发布
最新推荐文章于 2024-02-01 10:38:20 发布
阅读量190 收藏
点赞数
分类专栏： 多维分析 文章标签： 数据库 mysql hive hbase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26777585/article/details/109571655
版权
这篇博客记录了使用Kettle进行大数据迁移的性能测试，涉及MySQL写入Hive，Hive写入MySQL，MySQL数据到HBase，以及HBase数据回写到MySQL的过程。在测试中，详细列出了不同数据量、字段数量以及写入时间，展示了不同操作的速度和效率。
摘要由CSDN通过智能技术生成

注：老规矩不泄露公司信息

Mysql数据库连接

主机名或 IP 地址: xxxxx

端口: xxx

数据库：xxxxx

用户名: xxxxxx

保存密码:xxxxxx

6.1 mysql写入hive

（1）xxxx表

数据量：99万+

字段数:6

写入时间：3.7s

速度：26万+ 条/s

效果图见图6.1。

184610_cldB_3323164.png

图6.1 xxxxxx表测试效果

（2）xxxx表

数据量：2116万+

字段数:6

写入时间：67s

速度：31万+ 条/s

效果图见图6.2。

184618_xMUG_3323164.png

图6.2 xxxxx表测试效果

（1）   xxxx表

数据量：18439万+</

最低0.47元/天 解锁文章
仔仔1993
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
kettle同步数据到hive 巨慢_一不小心做了个大数据中台(1)
weixin_31653131的博客
12-25 1206
01业务背景即将火爆到起飞的教育行业，还是ToB的曾经有一份工作，我有幸接触到，做的是教育行业，而且是ToB的。大数据、教育、ToB，三个风口啊，别说猪了，铅球都能飞起来了。不过，这次不是聊八卦了，而是要说技术内容了。所谓的教育ToB，说成是多媒体教学系统就很好理解了。客户主要是学校或教育单位，用户以老师和学生为主。将老师的课堂讲解、布置作业、学生答题、成绩统计等全部在线上，并提供一些数...
Kettle(PDI-Pentaho Data Integration)7.1安装与性能测试
dlke03的博客
02-12 1569
Windows环境安装 安装版本：7.1 基础环境：JDK1.8u144 下载路径：https://sourceforge.net/projects/pentaho/files/Data Integration/ 解压缩即可使用，绿色无污染 SqlServer连接 下载路径http://www.microsoft.com/zh-cn/download/details.aspx?id=11774，解...
kettle操作mysql，hive，hbase，phoenix性能测试(使用笔记性能测试部分补充和更新)...
weixin_34258838的博客
02-09 604
2019独角兽企业重金招聘Python工程师标准>>> ...
KETTLE效率小测试
m2008m的专栏
01-22 1509
最近做了一下关于ETL抽取工具的效率测试，测试结果见图。
kettle的测试数据
qq_35573689的博客
11-15 584
两表和多表的测试数据： 课程表 /* Navicat Premium Data Transfer Source Server : localhost Source Server Type : MySQL Source Server Version : 80016 Source Host : localhost:3306 Source S...
kettle8.1Hive连接包
12-26
Kettle 8.1 Hive 连接包是一个专门为 Pentaho Kettle 8.1 版本设计的数据集成工具，用于高效地与 Apache Hive 数据仓库进行交互。Kettle，也称为 Spoon，是 Pentaho Data Integration（PDI）的一部分，它提供了一个...
kettle8.2连接hive驱动包.zip
07-03
使用这些驱动，Kettle用户可以在工作流或转换中创建Hive连接，执行SQL查询，将数据导入或导出到Hive表，甚至在Hadoop集群上进行复杂的数据处理任务。安装这些驱动时，通常需要将JAR文件放入Kettle的lib目录，以便...
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select ...
CM介绍、hbase、hdfs、hive性能测试
03-10
kettle批量插入hive2，解决表输出速度慢问题
05-08
解决kettle使用表输出到hive2时，批量提交不起作用导致速度非常慢的问题，重新编译big-data-plugin插件使表输出支持对hive2批量提交，速度由几十条每秒提升到三千条每秒。
性能测试报告
caiyeyu的博客
02-18 246
[b]1 测试内容[/b] 模拟数据采集的整个过程，记录整个采集过程所用时间，以及每个采集子过程所用的时间，监控TOMCAT资源利用情况、应用服务器的资源利用情况，找出性能瓶颈所在。调整各方面的配置参数，优化性能。 [b]1.1 源库XML包：[/b] 0000000000026888 0000000000046310 1 2011-09-2...
Kettle 解决数据同步缓慢及性能效率问题 (数据同步利用时间戳解耦，性能通过配置优化提升90%)
最新发布
m0_56659620的博客
02-01 3187
在数据同步过程中，缓慢的同步速度和低效率的性能往往是令人头痛的问题。本文将介绍如何通过Kettle解决数据同步缓慢及性能效率问题，其中主要涉及数据同步利用时间戳解耦和通过配置优化提升性能高达90%的方法。在先前的博客文章中，我们配置了Kettle在Docker中的部署过程，以及如何配置和运行Sqlserver到Mysql的数据同步任务。同时结合Start定时任务，实现定时调度的功能，确保数据同步任务的稳定运行。
kettle直接操作hbase时的性能优化
qq_26777585的博客
01-26 100
###mysql-hbase写入熟读慢 注意：传输数据优化 1. 写入hbase之前，建表的时候要进行预分区 2. 预读mapping 3. 加大写...
浅测评DataX与Kettle
weixin_44411398的博客
05-12 1万+
浅测评DataX与Kettle 两者作为ETL的常用工具，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环，也是工作量较大的一块。 DataX与DataX的安装与使用这里就不介绍了，可以看： DataX安装与简单使用 DataWeb的部署与使用 文章目录浅测评DataX与Kettle一、简单介绍二、支持的主流数据源三、操作性KettleDataX四、功能性1.数据同步10万数据量的情况：100万数据量的情况2.数据清洗10万数据的情况100万数据的情况 一、简单介绍 Da
Hbase与Hive的集成
qq_36250202的博客
11-10 646
1.HBase与Hive的对比 1．Hive (1) 数据仓库 Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。 (2) 用于数据分析、清洗 Hive适用于离线的数据分析和清洗，延迟较高。 (3) 基于HDFS、MapReduce Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。 2．HBase (1) 数据库 是一种面向列存储的非关系型数据库。 (2) 用于存储结构化和
分析Kettle性能测试过程中的STARTDATE时间问题
smooth的博客
03-21 1万+
关于如何进行Kettle的数据交换性能测试，以及测试过程中发现的STARTDATE时间问题
Kettle提高表输出写入速度（每秒万条记录）
热门推荐
弧光
09-12 3万+
由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万多，有一分钟二十多万的记录，没测试极限，下为更改的地方： NO.1 mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置 在此处添加参数： useServerPrepStmts=false rewriteBa...
Kettle集成Hadoop、Hive与HBase：从配置到实战教程
本文档主要介绍了如何使用Kettle这个工具来整合大数据平台，包括Hadoop、Hive和HBase。Kettle是一个强大的数据集成工具，它支持多种数据源和目标系统的连接，使得在大数据环境中进行数据处理和迁移变得更加方便。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

仔仔1993

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值