hzp666的博客

CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；LEAST_RECENTLY_USED（最近最久未使用）：最久为使用的机器优先被选举；FIRST（第一个）：固定选择第一个机器；ROUND（轮询）：；

部署完成之后，在modules/对应的项目/data/applogs下(用户也可以自己指定日志，修改application.yml 中的logpath地址即可)，用户可以根据此日志跟踪项目实际启动情况。如果项目启动失败，请检查启动日志：modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out。进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行。

打开菜单任务管理页面，选择添加任务按下图中5个步骤进行配置注意，注意，注意: 配置一定要仔细看文档（后面我们也会对这块配置进行优化，避免大家犯错）

有个场景，比如说一个数据流A中有个flag字段，另一个数据流B中有id,name等字段，要实现把 数据流B 中的字段后边增加一个 数据流A的flag字段。实现办法，使用 记录集连接 控件：总览：1.记录集连接 控件，前一步要放置一个 排序控件，排序字段随意选。2.主要操作设置下 记录集连接 控件：ps:追加流 控件追加流 控件相当于 SQL中的 union 操作，要求两个数据流中字段数量 、位置、数据类型保持一致才行。...

注意：合并记录的使用前提是2个数据源都按比较关键字排过序，否则合并之后的数据不准确，可能会多出很多。该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。需要设置的参数：旧数据来源：旧数据来源的步骤新数据来源。新数据来源的步骤标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。1. “identical” – 旧数据和新数据一样2. “changed” – 数据发生了变化

现象当选择视图/表下拉框时候，右上角报错，获取视图/表失败，如下：或者有时候会报如下错误：原因：数据源配置时候，mysql 5.7版本，在添加时区设置后会有问题。解决办法：在开发时候，把数据源改成不添加时区的， 保障可以正常选择视图表下拉框。然后在开发完成后，修改数据源 加上时区。mysql5.7 的开发时 数据链接配置如下：可以正常选择视图 表：开发完成后，修改数据源添加时区?serverTimezone=Asi.

#!/bin/shmysql -h10.10.10.10-uroot -p123456 -e"use finereport;SET SQL_SAFE_UPDATES = 0;#for area getupdate APP_ALL_PLOT_AREA_FACTset UpdateTime = '2022-01-01 17:53:34'where UpdateTime = '2021-12-31 01:00:00' ;#for left coreupdate APP_ALL_HZ...

1.创建分区出错com.alibaba.datax.common.exception.DataXException: Code:[Common-11], Describe:[运行时内部调用错误 .] - 创建分区出错 - org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticException [Error 10001]: Table not found TDS_A

对于jdbc 连接数据库时，url兼容两种模式如下：1、"jdbc:oracle:thin:@127.0.0.1:1512:pdb"2、"jdbc:oracle:thin:@127.0.0.1:1512/pdb"第1中模式端口后使用的是“：” 那么pdb代表的是数据库的实例名 一般情况数据库都是多实例的第2中模式端口后使用的是“/” 那么pdb代表的是数据库的服务名如果使用第1中模式，将pdb错误的填为服务名就会报错，显示错误，kettle就是因为这个原因报错。查看...

1、找到repository.xml文件目录，(一般是kettle根目录下，.kettle文件夹内)我的是“C:\Users\Administrator\.kettle\repository.xml”;2、看下repository.xml文件是否乱码，是则将乱码的资源库删除掉，或者改为英文；3、将同文件夹下的.spoonrc文件和db.cache-*文件删除掉；4、重启你的kettle。...

1.新建分层文件夹，2.ddl层 ，hive 建表，分区表，drop table if exists APP_ALL_PROJ_NUM_FACT;create table if not exists APP_ALL_PROJ_NUM_FACT ( Id bigint comment '自增主键' ,ProjCode string comment '项目长编码' ,ProjName string...

kettle error–只有一个输入记录期待设置变量并且至少已经收到2个变量在kettle 处理多条数据结果时，若不注意则会出现上图的错误，解决方法其实很简单，双击job或transformation，勾选下图选项即可解决。...

For input string: "!System.Combo.Primary!" java.lang.NumberFormatException: For input string: "!System.Combo.Primary!" 百度谷歌一大堆,没有一个解决问题,折腾了我好久. 最终解决方法: 删除C:\Users\你的用户\.kettle文件夹下的所有文件!...

主要两点 1.配置环境变量 、2.修改spoon.bat点击spoon.bat后，没反应添加环境变量 系统变量PENTAHO_JAVA_HOME(4)新建->系统变量名“PENTAHO_JAVA_HOME”,变量值“C:\Program Files\java\jdk1.8.0_66”（我在这里遇到坑，这个变量没有新增，导致我一直启动kettle出现找不到文件C:\Program Files\Java\jre1.8.0_66\bin\bin\java.exe）..

因为公司需求，最近需要用数据迁移和转换，目前用etl的比较多，现在选择了工具Kettle。一：Kettle安装前JDK环境配置由于Kettle是Java语言开发的，该软件的允许需要Java运行环境的依赖。需要先安装JDK,准备好Java软件的运行环境。安装jdk1.8版本新版本官网下载：http://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html 点击打开链接...

kettle 数据库资源库配置，在使用kettle过程中可以配置资源库，将建好的作业和转换都保存在资源库中，下次直接登录就可以看到所有保存的作业和转换。本教程使用kettle v8.2、mysql 5.7.24做演示方法/步骤 前期准备工作： 1、需要一个mysql数据库（自行安装） 2、在mysql数据库中创建一个kettle库 create database kettle; 3、创建kettle 用户并授予kettle库所有权限 create user kettle@'

简单版：https://blog.csdn.net/hzp666/article/details/107841754详细版：1.场景介绍：根据不同的操作系统定时调度kettle资源库中的job2.案例适用范围：windows环境kettle资源库中job调度，linux环境kettle资源库中job调度，linux环境定时任务参数设置3.本文主要包含如下三个内容介绍希望大家喜欢：一：windows使用计划任务定时执行kettle资源库中的job问：为什么不用kettle star.

python在windows上调用 kettle需求：当前job只能一次跑一天程序，想着用python写个循环，然后一次性跑一个月的数据。原理是python调用cmdcmd = 'kitchen.bat -rep=kettle_repo -user=admin -pass=admin -dir=/job -job=material_inventory "-param:t_date=\'2018-01-01\'" -level=Error' os.system(cmd)rep为资源库d

概述：总job，分三步，第一：先清空目标表；第二，根据源表总的数据行，结合服务器配置 kettle每次能抽取插入多少行，算出需要分n次抽取，并生成1到n的序列值列表。 ps:生成1、2、3...n 的数据列，然后把每个值赋值给变量var_page, 根据var_page的值分页查询。第三，根据第二步 生成的1、2、3...n的数据列，为每行都执行一次表插入，即实现分n次抽取数据插入。 在每次的执行中都根据变量，select 出对应的数据，进行表...

kettle调度平台-精卫平台：https://gitee.com/yhtmxl/kettle/tree/masterwebKettleETL产品介绍精卫ETL平台，创造性的将平台构建为B/S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。 系统分为七大模块:模型、平台、任务、定时调度、日志、节点、用户. 模型模块进行ETL模型开发，在B/S系统中用拖拽的方式设计数据流逻辑。 其他六个模块为用户专业调度管理系统,更多是面向业务运维人员，关注于整个流程的执行情况和数据的导

Kettle 的定时任务可以用kettle中的job工作来定时转换，也可以使用bat脚本来启动kettle的‘.ktr’转换。Bat脚本可在Windows上直接双击运行；也可以在‘计算机管理-->任务计划程序’中添加，并定时启动；还可以在Windows点击运行，输入cmd，在dos窗口输入命令启动。在Linux环境下启动转换的方法与Windows上差不多，所以并未多做实验。新建文档，保存格式为‘name.bat’，bat脚本： d: cd D:\hgy\pdi-ce-7....

点击SQL，清除缓存 即可

kettle如何解决也有一两篇谈到在建数据库连接时加characterEncoding来解决。在kettle中 ，数据链接中添加属性，数据源和目标 都要添加

设置为字符串格式，并修改格式