kettle扩大运行内存

最新推荐文章于 2024-04-28 08:00:00 发布
最新推荐文章于 2024-04-28 08:00:00 发布
阅读量5.8k 收藏 4
点赞数
分类专栏： Kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guihui666666/article/details/110622078
版权

机器内存大，kettle却还是报错内存溢出，这时候可以尝试调整kettle的运行内存

在windows中运行修改Spoon.bat文件中的参数PENTAHO_DI_JAVA_OPTIONS

-Xms最小运行内存，-Xmx为最大运行内存，m为内存单位，也可以直接设置g为单位

在linux中修改spoon.sh的参数PENTAHO_DI_JAVA_OPTIONS

-XX:MaxPermSize=256m JVM最大允许分配的非堆内存，java8以上中已经移除了该参数，如果使用的jdk8以上可以把这个参数直接去除，没有去掉的话每次运行反而会打印日志提示

 

 

 

大蚂蚁2号
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kettle IDEA可运行源代码
03-11
1、可直接下载使用 2、jar包在lib文件夹下面，全部加入到程序中即可运行成功
Kettle通过环境变量PENTAHO_DI_JAVA_OPTIONS配置内存
努力的习惯
04-14 538
通过在Windows系统的环境变量增加PENTAHO_DI_JAVA_OPTIONS项，可以配置Kettle的内存设置。名称：PENTAHO_DI_JAVA_OPTIONS。内容：-Xms2g -Xmx8g。最小2GB，最大8GB。
Kettle：内存限制 java.lang.OutOfMemoryError解决
weixin_43308131的博客
11-23 6259
Kettle：内存限制 java.lang.OutOfMemoryError解决 （1） kettle有内存限制， java.lang.OutOfMemoryError:，可再百度查看方法。 修改方法： 找到以下位置，修改 -Xms：设置JVM初始内存 -Xmx：设置JVM最大可用内存 -XX:MaxPermSize：设置JVM最大允许分配内存，按需分配 总之这几个值越大，kettle处理数据的...
Kettle调优教程（推荐收藏）
最新发布
zhangjin1222的博客
04-28 2020
双击画布-》杂项-〉记录集合里的记录数进行设置，也可以在kettle.properties属性文件中添加全局参数KETTLE_TRANS_ROWSET_SIZE进行设置。5、设计kettle流程时尽可能少的使用Kettle步骤，因为kettle步骤之间是有行集缓存的，步骤使用的越多，缓存也就越多，步骤间复制拷贝的次数也就越多。通过合理使用行集，可以实现数据的有效管理和处理，提高数据处理的效率和质量。8、插入大量数据的时候尽量把索引删掉，这个具体要根据业务场景，有的是不能删索引的，会影响业务系统使用。
kettle配置问题
wxc20062006的专栏
09-10 368
因为需要，今天又把kettle找出来搞了一下，发现在安装完JDK和JRE，并设置JAVA_HOME后，打开Spoon.bat时，出现闪退的现象。 解决方法：修改使用的内存大小。 修改前： if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms2048m" "-Xmx1024m" "-XX:MaxPermSize=256m" 修改后： if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PE.
Kettle数据同步日常使用汇总及整理
06-06 3209
核心一点，最好就是变量的作用范围为当前作业，尤其对于费定时任务，有可能多个作业同时启动的，一定要将变量的作用范围设定在当前作业中，如果设置变量的操作是在一个转换中，然后一个作业进行调用这个转换，那么变量的作用范围就是parent-job，一般不选择整个JVM，具体情况，根据设定变量这个操作的位置不同，决定其作用范围的设置，，就需要在主作业中嵌套一个子作业，子作业中调用一个转换，转换的功能就是通过从子作业的上一步中获取结果信息，然后将信息设置成变量，变量的有效范围parent-job；
kettle使用常见问题
weixin_44294921的博客
06-28 2321
Kettle（Pentaho Data Integration）在导出大量数据到Excel时可能会遇到内存溢出（OutOfMemoryError）的问题。将数据分批处理，而不是一次性导出所有数据。将数据分为较小的批次，然后逐个批次导出到Excel。如果可能的话，考虑将数据导出为CSV格式而不是Excel。CSV文件占用的内存较小，因此你可能不会遇到内存溢出的问题。你可以尝试增加Kettle分配给Java的堆内存。优化你的Kettle转换，减少不必要的步骤和中间结果。这将分配2GB的内存给Kettle。
Kettle使用配置及常用组件介绍
菜鸟程序员的成长之路
10-13 5049
Kettle使用配置及常用组件介绍
kettle内存溢出（Java heap space）以及解决方法.docx
02-24
1. **调整JVM内存设置**：增大JVM的最大堆内存大小，例如设置`-Xmx4g`表示设置最大堆内存为4GB。确保这个值不超过服务器物理内存的70%以防止操作系统因交换页面而变慢。 2. **优化Kettle步骤配置**：如问题描述中所...
kettle运行最小jar包.rar
07-24
- 检查JVM内存设置，因为Kettle处理大数据时可能会需要较多内存。 - 如果遇到权限问题，确保运行Java应用的用户有读取和执行Kettle转换文件的权限。 - 遵循Kettle的最佳实践，例如，合理划分转换和作业，避免单个...
Kettle运行日志记录
08-09
标题“Kettle运行日志记录”涉及到的是Pentaho Data Integration（Kettle）工具的日志管理功能。Kettle，也称为Spoon，是一款强大的ETL（Extract, Transform, Load）工具，用于数据集成和数据转换任务。日志记录在...
利用kettle运行job，完成以上的两个过程.mp4
02-04
利用kettle运行job，完成以上的两个过程.mp4Kettle研究-1-ETL认识与Kettle研读 ETL工具Kettle研究-2-Kettle安装部署 ETL工具Kettle研究-3-MySQL数据导入HIVE ETL工具Kettle研究-4-同步和更新备份表
初识kettle
xgyh1234的专栏
03-09 1600
kettle是一款开源免费的ETL工具，对于数据抽取，转换，清洗，非常有效，常用于数据迁移、数据统计、数据仓库等。下面我们列出常用的一些组件，后面我会对所有的组件一一介绍使用场景及实战案例。Concat fields (拼接字符串)目前主流的文件格式就是Excel。根据字段值来改变序列。
jvm参数
michaelzqm2的博客
08-28 437
1. 设置堆大小 -Xmx1024m -Xms1024m -Xmn2g -Xss128k -Xmx1024m：设置JVM最大可用内存为1024M。 -Xms1024m：设置JVM促使内存为1024m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。 -Xmn2g：设置年轻代大小为2G。整个JVM内存大小=年轻代大小 + 年老代大小 + 持久代大小。持久代一般固定大小...
KETTLE内存溢出解决方案
热门推荐
Dreamy_zsy的博客
09-23 2万+
kettle内存溢出数据跑到一半或者一大半时报错。 在kettle的运行路径中，用文本编辑器打开Spoon.bat，找到: REM ****************************************************************** REM ** Set java runtime options ** REM ** Change 256m to higher values in case you run
kettle pentaho_di_java_options,让kettle的执行速度飞起来
weixin_28801391的博客
03-16 1752
在前一篇文章xms/xmx/xss在kette中的调优设置中，我对kettle进行了一次优化，这次我们再一次进行优化，这次效果非常明显，这次优化有两部分：一、修改jvm添加xmn，二、修改日志输出级别在Java TM Performance一书中，有这样一段话：-Xmnisconvenienttosizeboththeinitialandmaximumsizeofthey...
Kettle中执行循环操作时内存溢出的解决方案（贵方法和巧方法）
m0_69586799的博客
06-07 2438
Kettle中执行循环操作时内存溢出的解决方案（贵方法和巧方法）
Windows环境Kettle使用问题记录
weixin_47120324的博客
06-01 669
Windows环境下使用Kettle问题记录
Kettle内存OutOfMemory错误解决办法
gangma2
12-15 2458
Kettle内存OutOfMemory错误解决办法 1、内存限制参数 控制Kettle使用服务器内存参数有3个，分别为：-Xms、-Xmx、-XX:MaxPermSize，三个参数含义如下： -Xms：设置JVM初始内存 -Xmx：设置JVM最大可用内存 -XX:MaxPermSize：设置JVM最大允许分配内存，按需分配 理论上参数值越大，kettle处理数据的效率越高 说明：-Xmx必须小于等于系统内存的1/4，其他两个选项不大于-Xmx。 2、OutOfMemory解决方法 进入安装目录，我的是D:\
kettle组件运行
09-07
Kettle组件是Pentaho Data Integration（PDI）软件的一部分，用于数据集成和转换。要运行Kettle组件，请按照以下步骤操作： 1. 安装Pentaho Data Integration（PDI）软件。您可以从Pentaho官方网站下载并安装适用于您的操作系统的软件版本。 2. 启动PDI软件后，您将看到一个称为"Transformation"的选项，点击它。 3. 在Transformation编辑器中，您可以选择并拖动各种Kettle组件到工作区，构建您的数据转换流程。常见的组件包括输入组件（如文本文件输入），输出组件（如数据库输出），转换组件（如字段计算），以及连接组件等。 4. 配置每个组件的属性和连接，以便正确地读取、处理和输出数据。这些属性包括文件路径、数据库连接、字段映射、条件等。 5. 使用"PDI"菜单中的"Run"选项运行您的转换。在运行期间，Kettle组件将按照您定义的流程逐步处理数据。 请注意，以上仅是一个简单的概述，实际情况可能因具体环境和需求而异。如果您对具体的Kettle组件运行有更详细的问题或要求，请提供更多细节以便我能够更好地帮助您。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值