数仓项目出现脏数据怎么办

最新推荐文章于 2024-06-25 09:17:12 发布

yhyhllll

最新推荐文章于 2024-06-25 09:17:12 发布

阅读量661

点赞数

文章标签：大数据数据仓库

本文链接：https://blog.csdn.net/weixin_50656879/article/details/118774133

版权

我们在创建各个层次表格的时候如果没有设置读取方式，hive在读取数据的时候会产生一定的脏数据

出现 __HIVE_DEFAULT_PARTITION__ 这样的分区

解决方法为

在创建表格的时候，先执行set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

当然如果已经出现了脏数据，可以将hdfs上脏数据分区原始数据进行删除

再将表格中的脏数据分区进行删除

alter table dwd_order_info drop partition (dt='__HIVE_DEFAULT_PARTITION__');

在重新写入一次数据就可以去掉脏数据了

在执行的时候注意自己使用的数据库正确与否

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yhyhllll

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

数仓数据清理

weixin_48109576的博客

09-04

1132

今天的需求是清洗数据,给用户添加省市区,添加新老用户,添加idMaping(用户标识) 1清洗过滤数据 1.1过滤掉日志account及deceid全为空的记录 "!(isBlank(deviceid) and isBlank(account))") 1.2过滤日志中缺少关键字端properties/eventid/sessionid 缺任何一个都不行 "properties is not null and !isBlank(eventid) and !isBlank(sessionid)" 1.3过.

hive处理脏数据

汉子一枚

07-09

869

INSERT OVERWRITE table ods.js_beauty_tmp SELECT * from ods.js_beauty_tmp WHERE map_lat != ‘’ AND map_lng != ‘’ AND map_lat IS NOT NULL AND map_lng IS NOT NULL AND map_lat != 0 AND map_lng != 0 AND map_lat not like ‘-%’ AND map_lng not like ‘-%’ and city !=

参与评论您还未登录，请先登录后发表或查看评论

数仓中数据清洗的方法

欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。

11-25

1390

数仓中数据清洗的方法

数据库脏数据

Hepburn_li的博客

08-10

575

数据库中常见的并发操作所带来了一致性问题包括：丢失的修改，不可重复读，读“脏”数据，幻读。 1.丢失的修改：一个事物的更新覆盖了另一个事物的更新。例如：事物A和B读入同一数据并修改，B提交的结果破坏了A提交的结果，导致A的修改被丢失。 2.不可重复读：一个事物两次读取同一个数据，两次读取的数据不一致。不可重复读是指事物A读取数据后，事物B执行更新操作，事务A 无法再现前一次读取结果。 a.事...

数据指标--脏数据

weixin_30263277的博客

08-23

226

脏数据是指源系统中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。　在数据库技术中,脏数据在临时更新（脏读）中产生。例如：事务A更新了某个数据项X，但是由于某种原因，事务A出现了问题，于是要把A回滚。但是在回滚之前，另一个事务B读取了数据项X的值(A更新后)，A回滚了事务，数据项恢复了原值。事务B读取的就是数据项X的就是一个“临时”的...

清掉数据_学习之大数据项目笔记第七篇【数仓模块-日志预处理篇】

weixin_28987001的博客

12-28

279

大数据项目之电商数仓（2用户行为数据仓库）

09-27

- **DWD（Data Warehouse Detail，明细层）**：对ODS层的数据进行初步清洗和转换，去除脏数据，保持数据的原始细节。 - **DWS（Data Warehouse Service，服务层）**：基于DWD层的数据进行轻度汇总和加工，为上层应用...

银行数据仓库项目

gailun66的博客

04-09

3310

需要了解的概念：OLTP是一个操作系统 OLAP是面向解释分析的系统面向主题：客户在使用数仓的时候所关心的内容叫做主题，面向客户的需求银行有哪些主题？客户、财务、贷款集成的：根据主题，将采集业务数据整合汇总加工，形成业务宽表（业务明细表）非易失：数据要做到准确、完整、一致、高效随着时间变化而变化：数据是动态的不是死的。

数仓体系与数据治理全集

weixin_44687655的博客

04-06

3316

数据仓库（Data Warehouse），可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。

【Flink实时数仓】数据仓库项目实战《四》日志数据分流【DWD】

m0_47139992的博客

12-18

1793

【Flink实时数仓】数据仓库项目实战《四》日志数据分流【DWD】

大数据项目之电商数仓-用户行为数据仓库

fang19970714的博客

06-11

1371

数据仓库分层把复杂问题简单化，把一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解清晰的数据结构，每一层都有它的作用域，这样我们在使用表的时候能更方便的定位和理解。便于维护数据的准确性，当数据出现问题的时候，可以不用修复所有的数据，只需要从有问题的步骤开始修复减少重复开发，规范数据分层，通过中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性隔离原始数据，使得真是数据与统计数据接耦分层结构图 ODS层（原始数据层）原始数据层，存放原始数据，直接加载原

数据仓库的数据清洗与转换:处理异常数据

AI天才研究院

01-02

1354

1.背景介绍 数据仓库是企业和组织中的核心资产之一，它存储了大量的历史数据，用于支持决策、分析和预测。数据仓库的质量直接影响其价值和可用性。因此，数据仓库的数据清洗与转换是一个至关重要的问题。异常数据是数据仓库中常见的问题，它们可能导致数据质量下降、分析结果错误等问题。因此，处理异常数据是数据仓库数据清洗与转换的重要组成部分。在本文中，我们将从以下几个方面进行阐述：背景介绍核心概念与...

使用Apache Atlas 2.0.0快速定位数据仓库中的脏数据问题

u011423145的博客

08-07

634

以阿里增量数据项目为例，目前有一张DW层表biz_dw.dwb_acloud_pzx_rmb_diff，里面的其中一个字段有脏数据，我们需要快速定位这个字段可能来自于哪张表。通过Atlas UI界面，选择“hive_table”类型，在查询框中搜索“dwb_acloud_pzx_rmb_diff”，点击查询结果中的“Lineage”，得到以下查询结果：上图中红色圈中的“dwb_acloud_pzx_rmb_diff”，为我们的查询目标，可以看出这张表主要来自于dwb_acloud_pzx_.

数据仓库实践杂谈（八）——去重

cfy_fantasyxx的博客

12-24

2918

数据重复是一个比较麻烦的事情。从正常逻辑上来看，如果应用系统和数据卸出的程序没问题，不应该存在这个问题。但实际情况来看，确又时有发生。一旦确定数据源的数据会有重复的可能，就需要专门进行去重处理。

【错误日志】数仓部分遇见的错误及解决方式

LeviathanWang的博客

02-24

963

0.phoenix 启动报错：org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG 解决办法：去zk里面删除SYSTEM.CATALOG等表 rmr /hbase/table/SYSTEM.CATALOG rmr /hbase/table/SYSTEM.SEQUENCE rmr /hbase/table/SYSTE...

数据仓库-数据清洗

qq_38304392的博客

12-27

985

数据仓库-数据清洗定义 ETL 抽取(Extract)、转换(Transform)、加载(Load) ETL的核心价值在"T"所代表的转换部分数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性为什么要进行数据清洗 数据仓库中的数据是面向某一主题数据的集合，这些数据从多个业务系统中抽取而来，并且包含历史数据，因此就不可避免地出现某些数据是错误的，...

在大数据(hive/doris)检测源数据中的脏数据和异常数据