Doris [DATA_QUALITY_ERROR]too many filtered rows

已于 2024-12-03 10:36:44 修改
阅读量1k 收藏 6
点赞数 6
文章标签： oracle 数据库 服务器
于 2024-12-02 14:03:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/The_Moon_/article/details/144186755
版权

通过StreamLoad往数据库写数据报错

{
    "TxnId": 2433098,
    "Label": "097a7f45-f731-4888-a1ed-3fca2e8ee26e",
    "Comment": "",
    "TwoPhaseCommit": "false",
    "Status": "Fail",
    "Message": "[DATA_QUALITY_ERROR]too many filtered rows",
    "NumberTotalRows": 1,
    "NumberLoadedRows": 0,
    "NumberFilteredRows": 1,
    "NumberUnselectedRows": 0,
    "LoadBytes": 362,
    "LoadTimeMs": 16,
    "BeginTxnTimeMs": 0,
    "StreamLoadPutTimeMs": 3,
    "ReadDataTimeMs": 0,
    "WriteDataTimeMs": 9,
    "CommitAndPublishTimeMs": 0,
    "ErrorURL": "http://ip:port/api/_load_error_log?file=__shard_774/error_log_insert_stmt_c34e04b0aa73a1a7-1ac7b5b233a6fbbb_c34e04b0aa73a1a7_1ac7b5b233a6fbbb"
}

Message信息提示[DATA_QUALITY_ERROR]too many filtered rows，并不能直观看出问题所在。可以通过ErrorURL的链接打开查看。一般常见的问题为：

1.分区的字段值有问题。比如按时间分区，当前分区只截止到202412月份，但是却传入了更大的日期，比如2025年12月。

2.表结构有问题。比如不可为空的字段你传入了null；此时请仔细检查数据库的表字段顺序和你传入的表头顺序是否一致（一般都是此问题导致），或者数据库的表结构非空等限制！

时代的狂
关注
Flink往Starrocks写数据报错：too many filtered rows
SunnyRivers
11-06 2103
这个其实比较郁闷，你抛出的异常是过滤出太多行，与not null有什么关系呢？但是，当你把not null去掉后，发现很多too many filtered rows的bug都能解决了。这个时候你把最新的数据导入，可能会报上面的错。正当你以为你根据字面意思就知道bug的本质的时候，你会发现有些场景，你日期写的完全没有问题依然会报上面的错（说明这个starrocks源码写的不严谨）。比如你写的是tinyint，但实际来的值超过这个范围，就会报错too many filtered rows（真有点扯淡啊）。
flink 写入 starrocks 报错 too many filtered rows attachment
yy的博客
11-10 1465
把你starrocks中DDL里的varchar(...) 先修改为STRING. 一般是因为字段超出定义的长度.
doris报错：too many filtered rows
海若_matrix的博客
04-12 1万+
1.报错场景 加载数据 [starcross@app1 FLink-test-LT]$ curl --location-trusted -u root:aba -T 'data_2022-04-11.csv' -H "label:testdoris201" -H "column_separator:," -XPUT http://10.22.33.69:8030/api/os/ws/_stream_load 2.报错内容 { "TxnId": 831311, "Label": "testd
data-x使用中常见报错
最新发布
hcq_lxq的博客
03-31 223
解决思路：一般这种提示都是实际数据不符合要求，无法准确加载到目标库。此时检查源头数据看是否有些字段中存在空格或者回车之类的，对其字段进行替换处理regexp_replace(clom,'\t|\n','')报错提示数据导入StarRocks失败，too many filtered rows，最后提示总条数NumberTotalRows":16758，加载成功16757，失败1条。
doris 数据导入too many filtered row
azx321的专栏
04-02 1846
doris导入数据too many filtered row 原因 没有设置分隔符 column_separator 数据中包含分隔符导致分割后的数据列与cloumn数量不一致
导入失败，报错：“too many filtered rows xxx, “ErrorURL“:“
eagle89的专栏
01-16 4244
[INTERNAL_ERROR]too many filtered rows",
【无标题】Doris报错 （too many filtered rows）
ShiXZ213的博客
10-28 3061
doris
Starrocks StreamLoad导入csv数据报错too many filtered rows
qq_42607505的博客
07-07 3409
【已解决】Starrocks StreamLoad导入csv数据报错too many filtered rows。
记录一次datax同步数据到doris错误[DATA_QUALITY_ERROR]Encountered unqualified data
mxm_2005的专栏
04-10 3512
记录一次datax同步数据到doris错误[DATA_QUALITY_ERROR]Encountered unqualified data
``` Caused by: org.apache.doris.spark.exception.StreamLoadException: stream load error, load status:Fail, response:StreamLoadResponse(200,OK,{ "TxnId": 22647242, "Label": "spark_streamload_20250326_083305_98e41310899b4b918d848f3e6a029525", "Comment": "", "TwoPhaseCommit": "false", "Status": "Fail", "Message": "[DATA_QUALITY_ERROR]too many filtered rows", "NumberTotalRows": 2762, "NumberLoadedRows": 0, "NumberFilteredRows": 2562, "NumberUnselectedRows": 0, "LoadBytes": 1197623, "LoadTimeMs": 104, "BeginTxnTimeMs": 0, "StreamLoadPutTimeMs": 2, "ReadDataTimeMs": 3, "WriteDataTimeMs": 101, "ReceiveDataTimeMs": 72, "CommitAndPublishTimeMs": 0, "ErrorURL": "http://10.0.42.207:8040/api/_load_error_log?file=__shard_218/error_log_insert_stmt_704387dc76cd43fe-9585f67a31a118b0_704387dc76cd43fe_9585f67a31a118b0" }```分析数栖平台SparkSQL错误原因
03-29
首先，用户遇到了一个StreamLoadException，错误信息显示“DATA_QUALITY_ERROR: too many filtered rows”。我需要逐步分析可能的原因，并给出解决方案。 首先看错误信息的关键点：NumberTotalRows是2762，...
insar.rar_InSAR MATLAB_MATLAB Insar_SLC_matlab Doris insar_ma
07-14
Doris insar是另一个与InSAR相关的工具，可能是专门用于InSAR数据处理的一个软件或者MATLAB工具箱。它可能包含了一些特定的算法或者函数，帮助用户更方便地进行InSAR数据分析，比如干涉图的生成、相位噪声去除、形变...
适配datax（包含DorisWriter 插件）的datax_web
10-10
DataX doriswriter 插件，用于通过 DataX 同步其他数据源的数据到 Doris 中。(https://doris.apache.org/zh-CN/docs/ecosystem/datax?_highlight=datax#%E5%85%B3%E4%BA%8E-datax) DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面。 GitHub上的Datax Web项目不支持doriswriter 插件。 本项目是集成了doris，适配doriswriter 插件。
Doris内存超限错误分析
学亮编程手记
10-14 2221
值相同，具体可参考： https://serverfault.com/questions/940196/why-is-memavailable-a-lot-less-than-memfreebufferscached https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?后，可以在单次查询内存超限时，在 log/be.INFO 中打印日志，用于确认当前查询内存使用是否符合预期。是系统总内存，取值同样来自。
记一次Spark海量数据导入Doris问题（failed to init delta writer. version count: 503, exceed limit: 500）
南风知我意
10-28 3248
Doris写入数据错误，持续更新
记录apache doris使用过程中出现的问题
热门推荐
qq_31866793的博客
10-28 3万+
1，执行创建语句过程中出现： [Err] 1064 - errCode = 2, detailMessage = Failed to find enough host in all backends. need: 3 原因： 语句中指定了PROPERTIES("replication_num" = "3"); 结果BE只有2个： 查看对应节点的日志：. ==> ./be.WARNING.log.20200921-141304 <== W1026 18:13:39.1399..
Apache Doris 数据导入导出 , Binlog Load
weixin_67024075的博客
05-29 1715
4.数据的导入导出按照使用场景划分点击图片可查看完整电子表格4.1使用 Insert 方式同步数据用户可以通过 MySQL 协议，使用 INSERT 语句进行数据导入。INSERT 语句的使用方式和 MySQL 等数据库中 INSERT 语句的使用方式类似。INSERT 语句支持以下两种语法：SQL对于 Doris 来说，一个 INSERT 命令就是一个完整的导入事务。因此不论是导入一条数据，还是多条数据，我们都不建议在生产环境使用这种方式进行数据导入。
doris使用笔记
gsc1456的博客
09-07 1033
doris使用笔记，未完待续
Doris之物化视图
qq_43688472的博客
01-21 1314
Doris之物化视图
doris 数据导入、数据权限、资源管理
javaMylife的博客
06-20 956
/ skip_lines: 整数类型, 默认值为0, 含义为跳过csv文件的前几行. 当设置format设置为 csv_with_names 或、csv_with_names_and_types 时, 该参数会失效.// strict_mode 严格模式，由于数据库设置了字段类型，在由文本中的字符串数据转换到数据库字段类型失败时，严格模式会认为该条数据是错误数据。// 如hive文件的分隔符\x01，需要指定为-H "column_separator:\x01"。# FE(65服务器)
``` CREATE TEMP VIEW doris_view -- 创建doris表连接 USING doris OPTIONS( "table.identifier"="ic_fddw_mart.ads_oo_po_vehicle_model_state1_bi", -- 修改成doris里的表名 "fenodes"="${sys_dsource_dev_doris_fddw.connectUrl}", "user"="${sys_dsource_dev_doris_fddw.userName}", "password"="${sys_dsource_dev_doris_fddw.password}", "doris.sink.properties.format"="json", "sink.batch.size"="4000" ); -- 是视图时才需要这段 create temp view hive_view as -- 创建hive临时视图 select * from view.ic_dev15oc_mart.ads_oo_po_vehicle_model_state_bi; insert overwrite table doris_view -- 往doris表中存入hive数据 select * from hive_view;```Caused by: org.apache.doris.spark.exception.StreamLoadException: stream load error, load status:Fail, response:StreamLoadResponse(200,OK,{ "TxnId": 16987742, "Label": "spark_streamload_20250320_174155_bf470be8ff9645f185fa751b860f65da", "Comment": "", "TwoPhaseCommit": "false", "Status": "Fail", "Message": "[DATA_QUALITY_ERROR]too many filtered rows", "NumberTotalRows": 200, "NumberLoadedRows": 0, "NumberFilteredRows": 5, "NumberUnselectedRows": 0, "LoadBytes": 91397, "LoadTimeMs": 104, "BeginTxnTimeMs": 0, "StreamLoadPutTimeMs": 2, "ReadDataTimeMs": 0, "WriteDataTimeMs": 101, "ReceiveDataTimeMs": 17, "CommitAndPublishTimeMs": 0, "ErrorURL": "http://10.0.42.207:8040/api/_load_error_log?file=__shard_6/error_log_insert_stmt_a14de4ff2f2266cd-77dffd6e44b71bb8_a14de4ff2f2266cd_77dffd6e44b71bb8" }
03-21
<think>嗯，用户提供的这段代码是关于使用Spark将Hive数据导入到Doris表中的，但在执行过程中遇到了一个错误，提示“too many filtered rows”。首先，我需要分析这个错误的原因。根据Doris的文档，DATA_QUALITY_ERROR通常和数据质量有关，比如字段类型不匹配、数据格式错误或者违反约束条件。错误信息显示有5行被过滤，导致所有200行中的有效行数为0，所以插入失败了。 接下来，我要考虑用户可能的背景。用户可能是在进行数据迁移或ETL操作，使用Spark连接Hive和Doris。他们可能对Doris的Stream Load机制不太熟悉，或者在表结构设计、数据清洗方面存在问题。用户可能没有意识到Doris表的结构或约束与Hive视图的数据存在差异。 用户的需求不仅仅是解决当前错误，更希望理解错误原因，并学会如何预防类似问题。深层需求可能包括优化数据导入流程，确保数据一致性，以及提高处理大数据量时的效率。 接下来，我需要分步骤思考解决方案。首先，检查Doris表结构是否与Hive视图一致，包括字段类型、长度、是否允许NULL等。例如，Hive中的字符串可能在Doris中被定义为VARCHAR，但长度不够导致截断或过滤。其次，查看Doris表的约束，比如唯一键、聚合模型是否导致数据冲突。例如，如果表是聚合模型，重复键的数据可能被合并，但某些情况下可能引发问题。然后，检查数据中的NULL值，是否在Doris表中被标记为不允许NULL却没有处理。此外，数据格式如日期时间格式是否匹配，例如Hive的TIMESTAMP和Doris的DATETIME格式是否一致。 另外，用户提到使用了Stream Load，而错误信息中的ErrorURL提供了详细的错误日志，用户需要访问该URL查看具体的过滤原因。可能因为权限问题无法直接访问，需要指导用户如何获取这些日志，或者调整Doris的配置以便记录更详细的错误信息。 此外，可以建议用户在导入前进行数据预览和验证，比如在Spark中执行Hive视图的查询，检查前几行数据是否符合Doris表的要求。还可以增加数据清洗步骤，处理异常值、空值或格式不符的数据。例如，使用CASE语句转换NULL，或者使用CAST函数转换数据类型。 最后，调整Stream Load的参数可能有助于解决问题，比如增加超时时间或调整批量大小。但在这个案例中，问题更可能出在数据本身，而不是参数设置。用户可能需要综合运用这些方法，逐步排查和修复数据中的问题，才能成功导入数据。</think>从你提供的代码和错误信息来看，这是一个使用Spark将Hive数据导入Doris时遇到的**数据质量校验失败**问题。以下是逐步分析及解决方案： --- ### 一、错误原因分析 ``` Caused by: org.apache.doris.spark.exception.StreamLoadException: [DATA_QUALITY_ERROR]too many filtered rows ``` - **核心问题**：Doris在数据写入时发现**过多数据不符合目标表约束**，导致过滤行数超过阈值。 - **关键指标**： - `NumberTotalRows=200`：尝试写入200行 - `NumberFilteredRows=5`：5行数据被过滤 - `NumberLoadedRows=0`：最终有效数据为0行（Doris默认如果过滤行数 > 0，则整个批次写入失败） --- ### 二、常见触发原因 1. **字段类型不匹配** - Hive字段类型与Doris表定义不一致（如Hive是`STRING`，Doris是`INT`） 2. **数据约束冲突** - Doris表定义了`NOT NULL`约束，但Hive数据存在`NULL` - 唯一键/主键重复 3. **数据格式异常** - 日期时间格式不兼容（如`2023/01/01` vs `2023-01-01`） - 数值越界（如Doris字段定义为`TINYINT`但Hive数据包含`1000`） 4. **聚合模型冲突** - 如果Doris表是聚合模型（Aggregate Key），重复Key的数据可能触发合并规则 --- ### 三、排查步骤 #### 1. 对比表结构 检查Doris表 `ic_fddw_mart.ads_oo_po_vehicle_model_state1_bi` 与 Hive视图 `ads_oo_po_vehicle_model_state_bi` 的字段定义： ```sql -- Doris表结构 DESC ic_fddw_mart.ads_oo_po_vehicle_model_state1_bi; -- Hive视图结构 DESC ic_dev15oc_mart.ads_oo_po_vehicle_model_state_bi; ``` 重点检查： - 字段类型（如`VARCHAR`长度是否足够） - 是否允许`NULL` - 主键/唯一键约束 #### 2. 查看错误详情 通过Doris返回的`ErrorURL`获取详细错误日志： ``` http://10.0.42.207:8040/api/_load_error_log?file=__shard_6/error_log_insert_stmt_a14de4ff2f2266cd-77dffd6e44b71bb8_a14de4ff2f2266cd_77dffd6e44b71bb8 ``` 此日志会明确标记**被过滤行的具体原因**（如字段类型转换失败、违反约束等）。 #### 3. 数据抽样验证 在Spark中抽样检查Hive数据： ```sql -- 检查NULL值 SELECT * FROM hive_view WHERE some_column IS NULL; -- 检查数值范围 SELECT MAX(some_number_column) FROM hive_view; -- 检查字符串长度 SELECT MAX(LENGTH(some_string_column)) FROM hive_view; ``` #### 4. 调整Doris容忍度（临时方案） 在`OPTIONS`中添加参数允许部分数据过滤： ```scala "doris.sink.properties.max_filter_ratio"="0.1" -- 允许最多10%的数据过滤 ``` > **注意**：需谨慎使用，仅建议在明确知道数据质量问题可接受时使用。 --- ### 四、解决方案 #### 方案1：修复数据质量 ```sql -- 在Hive视图中增加数据清洗逻辑 CREATE TEMP VIEW cleaned_hive_view AS SELECT CAST(col1 AS INT) AS col1, -- 强制类型转换 COALESCE(col2, 'unknown') AS col2, -- 处理NULL值 SUBSTR(col3, 1, 100) AS col3 -- 截断超长字符串 FROM hive_view; ``` #### 方案2：调整Doris表结构 ```sql -- 修改字段允许NULL ALTER TABLE doris_table MODIFY COLUMN col2 VARCHAR(255) NULL; -- 扩大字段长度 ALTER TABLE doris_table MODIFY COLUMN col3 VARCHAR(200); ``` #### 方案3：修改Stream Load配置 ```scala // 增加超时时间 "doris.sink.properties.timeout"="600" // 调小批次大小 "sink.batch.size"="1000" ``` --- ### 五、预防措施 1. **数据迁移前校验**：使用`WHERE 1=0`空跑测试表结构兼容性 2. **启用严格模式**：在Doris中设置`enable_insert_strict=true` 3. **添加ETL中间层**：通过Spark进行数据清洗和类型转换 --- ### 六、技术原理补充 Doris通过**Stream Load**机制接收数据时，会进行以下校验： 1. 数据格式解析（JSON/CSV等） 2. 类型强校验（如非数值写入`INT`字段直接失败） 3. 约束检查（`NOT NULL`、唯一键等） 4. 对于聚合模型，执行`REPLACE`/`SUM`等预聚合操作 可通过以下公式理解过滤阈值： $$ \text{过滤比例} = \frac{\text{NumberFilteredRows}}{\text{NumberTotalRows}} $$ 当该比例超过`max_filter_ratio`时，整个批次写入失败。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值