DataX - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数

最新推荐文章于 2024-03-12 20:35:49 发布
最新推荐文章于 2024-03-12 20:35:49 发布
阅读量701 收藏
点赞数 1
分类专栏： ETL 文章标签： etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30024063/article/details/133320527
版权
升级DataX版本后，遇到任务执行失败问题，原因是配置中单个channel的bps值错误。解决办法是将core.json文件中的默认bps值-1改为1048576，确保在总bps限速条件下，通道bps设定为正数，从而避免报错并使任务正常运行。
摘要由CSDN通过智能技术生成

更新服务器上的datax版本后，发现执行以前的任务全都失败，查看日志都有报

com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .].  - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数
2023-09-26 18:08:40 [AnalysisStatistics.analysisStatisticsLog-53] 	at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:30) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
2023-09-26 18:08:40 [AnalysisStatistics.analysisStatisticsLog-53] 	at com.alibaba.datax.core.job.JobContainer.adjustChannelNumber(JobContainer.java:430) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
2023-09-26 18:08:40 [AnalysisStatistics.analysisStatisticsLog-53] 	at com.alibaba.datax.core.job.JobContainer.split(JobContainer.java:387) ~[datax-core-0.0.1-SNAPSHOT.jar:na]
2023-09-26 18:08:40 [AnalysisStatistics.analysisStatisticsLog-53] 	at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:117) ~[da
最低0.47元/天 解锁文章
qq_30024063
关注
专栏目录
在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数
啊谋的博客
09-07 4526
datax运行报错： com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数 at com.alibaba.datax.common.exception.DataXException.asDataXExcept
DataX报错解决办法 - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数
热门推荐
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
12-20 1万+
报错如下： com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数 at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXE
[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数
chimchim66的博客
04-27 3996
DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数。如果bps限速和tps限速只设置了一个，那以设置的那个为准，因为没设置的那个默认Integer.MAX_VALUE，肯定大于设置的那个，所以取小的数就是设置的那个。如果bps限速和tps限速都没有设置，那才读取直接设置的值，也就是说，直接设置的优先级最低。如果bps限速和tps限速都设置了，那谁比较小，以哪个为主。
datax错误记录：1. 找不到插件[streamwriter,clickhouse]；2.有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数
最新发布
小白白的博客
03-12 361
datax使用clickhouse导出数据时配置json的官方文档：https://github.com/alibaba/DataX/blob/master/clickhousereader/doc/clickhousereader.md。这个问题我用的是偷懒的方法，直接把json配置中的speed下面的byte参数删掉了，只保留了channel，问题解决，也有更复杂的办法，修改datax的配置的，我没有去动datax的配置，网上也能搜到，这里不赘述了，
DataX报错
nzbing的博客
06-29 727
把上面byte:1234567行去掉就可以了。
问题记录：Datax+Datax-web2.1.2的一系列问题
CN_Eden
05-17 708
记录Datax使用上遇到的问题
关于Datax使用中出现的DataX引擎配置错误
勿語念千的博客
08-18 1万+
将重新打包的Datax上传后，使用datax-web重新运行任务时出现了 [AnalysisStatistics.analysisStatisticsLog-53] com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数。
DataX 中流的速度限制
程序员进阶之路
03-06 9267
概述 这里的流的速度限制是指在单位时间窗口内，最多允许指定的单位数据通过。比如我们需要从源端 A 发送 1000 条数据到目的端 B，如果设置的速度限制为最多 100 条每秒，那么理论上需要 10 秒的时间才能将数据传输完成，即使当前的网络允许在极短的时间便完成这个任务。 但是我们没办法严格控制每秒时间内的数量一定是小于等于 100 的，因为我们不能每传输一条数据便进行速度与其控制的计算，这样会极...
datax-web-2.1.2，大数据、etl工具、数据抽取
12-28
作为一个Web化的数据同步工具，DataX Web简化了数据迁移的复杂性，使得非技术背景的用户也能轻松操作。它支持多种数据源，包括关系型数据库、NoSQL数据库、Hadoop生态等，满足不同场景下的数据集成需求。 二、ETL...
DataXServer：为DataX（https：github.comalibabaDataX）提供远程多语言调用（ThriftServer，HttpServer）分布式运行（YARN上的DataX）功能
02-03
DataX服务器 为提供远程调用（Thrift服务器，Http服务器）分布式运行（YARN上的DataX）功能 特征 节俭服务器 纱线上的DataX Http服务器 单机多线程方式运行 单机多进程方式运行 分散运行（在纱线上） 混合模式运行...
Centos7.9通过datax-web2.0_用Datax3.0同步mysql到mysql_同步mysql到hbase_同步mysql到postgresql---大数据之DataX工作笔记004
添柴程序猿的专栏
07-01 299
1.datax-web2.0是最新的版本,2023-07-01 13:54:10这个时间写的,但是datax-web2.0不支持,对Phoenix的支持,现在datax已经是3.0了,3.0已经可以支持Phoenix了,但是datax-web2.0还不行,然后最重要的就是这个json了,可以看到里面配置了writer这个连接Phoenix的部分,最重要的就是这个json,这个怎么写,这里还需要注意,对于Phoenix来说,列名 要直接用""引起来。构建完了以后可以拿到对应的datax3.0需要的json.
datax底层原理_Datax 任务分配原理
weixin_42494891的博客
12-29 1687
Datax 任务分配原理Datax根首先据配置文件，确定好channel的并发数目。然后将整个job分成一个个小的task，然后划分成组。确定channel数目如果指定字节数限速，则计算字节限速后的并发数目。如果指定记录数限速，则计算记录数限速后的并发数目。再取两者中最小的channel并发数目。如果两者限速都没指定，则看是否配置文件指定了channel并发数目。比如以下面这个配置为例：12345...
ETL异构数据源Datax_限速设置_06
Gblfy_Blog
06-23 1791
文章目录一、提升job内Channel并发有几种配置方式二、配置简述三、案例3.1. 第一种3.2. 第二种3.3. 第三种3.4. 第四种3.5. 案例实战3.6. 总结 前言： 在DataX内部对每个Channel会有严格的速度控制，分两种，一种 是控制每秒同步的记录数，另外一种是每秒同步的字节数，可以根 据具体硬件情况设置这个byte速度或者record速度，一般设置byte 速度，比如：我们可以把单个Channel的速度上限配置为5MB。 优化：提升DataX Job内Channel并发数 并发数
dataX引擎配置错误
码农的专栏
05-13 670
2023-05-13 14:31:43 [AnalysisStatistics.analysisStatisticsLog-53] com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数。
linux 部署 dataX-web
qq_40319804的博客
10-15 365
设置python环境变量（可以不设置，我的没设置也可以正常启动）访问地址：http://ip:9527/index.html。用户名密码：admin/123456。新建数据库，导入数据。确认安装了python。
在Linux和Windows上编译DataX源码
zhangbeizhen18的博客
02-06 927
记录：370 场景：在CentOS 7.9操作系统上，使用apache-maven-3.8.7安装编译DataX源码。在Windows上操作系统上，使用apache-maven-3.8.7编译DataX源码。
大数据热度面试题：Datax限速与调优
zjjcchina的博客
05-29 889
例如Channel中会有一个Buffer，作为临时的数据交换的缓冲区，而在部分Reader和Writer的中，也会存在一些Buffer，为了防止OOM等错误，需调大JVM的堆内存。当我们需要传输数据的时候，数据传导组件肯定会想尽办法占用掉设备的资源，但是，随着对DataX深入使用可以发现，DataX并不会全力吃掉资源，所以究竟DataX是如何做到限速的？我们知道，数据传输受两个因素影响，一是网络速度等硬件因素，二是Datax本身的参数，故而当我们觉得Datax传输速度慢时，需要从这两个方面排查。
安装dataX的问题，com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe
zly03的博客
04-02 6398
文章目录报错安装:解决方法总结 报错 com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误，您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件. 安装: 该dataX下载的地址 安装过程就不详细介绍了，就分享下面我遇到的一个Bug，在执行
com.alibaba.datax.common.exception.DataXException: Code:[ESWriter-03]
paj123456789的博客
04-18 6363
记录一下学习datax把mysql数据存入es遇到的问题 2022-04-18 10:15:53.417 [job-0] ERROR JobContainer - Exception when job run com.alibaba.datax.common.exception.DataXException: Code:[ESWriter-03], Description:[mappings错误.]. - org.apache.http.client.ClientProtocolE...
datax-web 调度失败：执行器地址为空
05-25
这个错误可能是由于DataX-Web配置有误导致的。请检查以下几个方面： 1. 检查DataX-Web配置文件中的执行器地址是否正确。可以在config/application-prod.yml中查看。 2. 检查DataX-Web配置文件中的执行器端口号是否正确。可以在config/application-prod.yml中查看。 3. 检查DataX-Web的执行器进程是否正常运行。可以在执行器服务器上运行ps -ef | grep datax命令检查。 4. 如果执行器进程已经正常运行，请检查执行器的日志文件是否有异常信息。通常情况下，日志文件位于logs/executor/executor.log。 如果以上方法都没有解决问题，建议您提供更多的错误信息和配置信息以便我们更好地帮助您解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值