如何保证hive中数据的质量？

最新推荐文章于 2023-12-29 01:34:31 发布
最新推荐文章于 2023-12-29 01:34:31 发布
阅读量1.5k 收藏 1
点赞数 1
分类专栏： 大数据之Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011110301/article/details/106337247
版权

首先，数据出现质量问题有哪些原因或者情况？

其次，针对这些原因，制定清洗策略。

一般的数据质量出现问题的有：无效，重复，缺失，不一致，错误值，格式出错，业务逻辑规则有问题，抽取数据程序有错等，另外还有就是统计口径不一致，也会导致看到的数据不是想要的。

根据这些情况，如何清洗？人工，还是编写程序？这个依据数据量大小及挖掘系统要求看吧。如果出现这类型的错误很多，一定要写程序自动清洗，如果只是小量的不影响的，可以忽略不计。

  1. 问题扩展

最低0.47元/天 解锁文章
大数据架构师Pony
关注
专栏目录
Hive 数据仓库建设方案
AI天才研究院
08-02 1169
随着互联网公司、大型电子商务平台等业务的不断发展，海量的数据产生，对企业经营管理产生了深远的影响。数据仓库（Data Warehouse）作为数据集成、数据分析和报表展示的关键组件，广泛应用于企业各个角落，是实现数据驱动决策的重要工具之一。Hive数据仓库就是基于Hadoop生态圈的一个开源分布式数据仓库系统。Hive可以将结构化的数据存储在HDFS上，并通过SQL查询语言进行分析处理。
Hive 数仓数据质量治理
笑看风云路的博客
04-18 827
数据质量是数据创建价值的保障基石，高质量的数据为数据统计、分析和应用提供了可信任的必要条件。数据质量管理是指在数据创建、加工、使用和迁移等过程中，通过开展数据质量定义、过程控制、监控、问题分析和整改、评估和考核等一系列管理活动，提高数据质量以满足业务要求。可按照"谁创建，谁负责；谁加工，谁负责；谁提供，谁负责"的原则界定数据质量管理责任，由数据流转环节的各责任方对管辖范围内的数据质量负责。对数据质量规则优先采取系统程序的自动化控制措施，并尽可能迁移管控点，从源头上控制数据质量。
项目实战——钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量（Java版本）
10-24
此篇文章主要选取关键性指标，数据校验数据源Hive和目标ES内的数据是否一致； 因为你不知道将Hive的数据导入到了ElasticSearch后，数据量是否准确，所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量，注意，这个项目打包后，最好另起一个进程调用，并且开始时间为文章1或者2最大预估的结束时间后的10分钟后调用，这样可以校验两种情形： 1.ETL项目被调度了，但是造成了数据异常，可以捕捉到； 2.ETL项目压根就没起来，即超时了，造成了数据异常，亦可被捕捉！
Hive 数据质量检测
鸭梨的博客
02-01 1376
可以检测Hive的元数据,比如Hive表元数据存在Mysql中,可以在Mysql中查询 mysql> desc TBLS; +--------------------+--------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------------------+--------------+------+-----+---
hive数仓-数据的质量管理
mantoli的博客
11-16 1085
数据的质量管理，表现保障在数据的健康性，即满足消费者期望程度，体现在他们对数据的使用预期，只有达到预期才能满足决策层的参考。
hive数据质量规范
luo981695830的博客
11-14 824
hive数据质量规范
Hive的数据质量管理与监控
最新发布
AI天才研究院
12-29 1019
1.背景介绍 数据质量管理和监控是大数据技术的核心环节之一，它涉及到数据的整合、清洗、验证和监控等方面。Hive是一个基于Hadoop的数据仓库工具，它可以帮助用户对大量数据进行查询和分析。在Hive中，数据质量管理和监控的重要性不容忽视。 在大数据环境中，数据质量问题成为了企业管理和决策的重要瓶颈。数据质量问题不仅仅是数据错误或不完整，还包括数据的可用性、准确性、及时性和一致性等方面。因此，...
Hive数据分析案例
qq_35447918的博客
10-12 5648
第9章 汽车销售数分析系统 1 创建数据库cardb hive>create database if not exists cardb; hive>use cardb; 2 创建数据表car hive>create external table cars(province string, month int, city string, country string, year int, cartype string, productor string, brand string, mo
1、Hive数据仓库——概念及架构
hujieliang123的博客
02-18 4897
文章目录Hive 1.2.1Hive 是什么 Hive 1.2.1 Hive 是什么   Hive是建立在Hadoop上的数据仓库基础
Hive数仓数据质量，Sqoop常见问题及GC回收机制
LwpHelloWorld的博客
08-29 890
一、如何保证数据仓库数据的质量 1.从技术层面上：构建一套高效、健壮的ETL程序去保证数据清洗、装换后数据的正确性和一致性； 2.从流程层面上：整个ETL是多个任务的，按步骤顺序执行的一个过程，后置任务依赖前置任务，定期执行，整个流程需要自动化，并且那个环节出现了问题，给予预警，通知相关维护人员及时处理； 3.从管理层面上：数据仓库构建在公司各个业务系统之上，它是一面镜子，很多时候它能反映出业务系...
数据仓库之数据质量建设方案.pdf
10-13
数据仓库之数据质量建设方案
比亚迪质量这个Hive数据仓库实战(比亚迪质量)
dongsijia的博客
12-07 313
比亚迪Hive是建立在 Hadoop 上的数据仓库基础构架。比亚迪质量提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。比亚迪质量Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能， Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。 比亚迪质量Hive可以将SQL语句转换为MapReduce任务进行运行。 其优点是学
Hive（数据仓库）Hive 调优
cpz
09-02 272
10.hive调优 10.1 Fetch抓取 Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM score;在这种情况下，Hive可以简单地读取score对应的存储目录下的文件，然后输出查询结果到控制台。通过设置hive.fetch.task.conversion参数,可以控制查询语句是否走MapReduce. 案例实操： 1）把hive.fetch....
四.Apache Griffin基于Hive batch批数据的质量监控实战
weixin_43160819的博客
06-22 694
数据集 此案例适用于基于hive，HDFS等批数据作为数据源进行数据质量监控。 假设我们有一个数据集（demo_src），按小时划分，我们想知道每个小时的数据是什么样的。 为简单起见，假设两个数据集都具有与此相同的架构： id bigint age int desc
数据仓库(六)之数据质量篇
weixin_40479337的博客
04-15 337
概述 数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我...
Sqoop从MySQL导数据至hive数据表异常(数据量不对,数据值不对)
argue10的博客
04-19 3987
通过数据比对，发现sqoop导入hive的数据与MySQL原始数据对应不上，表现为两点： ①查数据总数不对，MySQL的count(1) = 108120条数据，但是导入至hive发现只有108112条数据，数据发生了丢失。 ②应查数据值不对，查询到某个字段，MySQL值中仅有1,2两种值，但是hive表中包含1,2，以及一串看不懂的数字。 经反复核对数据，发现问题症结，所以就将它记录下来了。 ...
经验总结7—数据准确性
剁椒鱼不要头的博客
02-17 2037
1、一个版本开发过程，可能琐碎的需求比较多，一定要记下来，否则后面可能会忘记或遗漏，不要太自信自己的记忆力 2、A left join B on 1=1 ,一般用来把B表的字段加到A表的每一行上，比如B表计算出当天是否是工作日，这是一个常量，和A表没有关系，所以就直接加到A表的每一行 3、数据报表开发是件很严谨的事，有的报表是全国各机构的人都在看的，一旦数据准确性出现问题，会引来很多人的质问，一定要重视 4、如果A和B是相同的表结构，只是名称不同，则两张表在关联取数的时候一定要写出具体的字段名并加表名，如.
hive表数据导出到csv乱码原因及解决方案
kodmoqn的博客
08-22 417
hive表数据导出到csv乱码原因及解决方案
数据质量和特征分析
weixin_34075551的博客
09-11 655
数据质量分析： 主要是对异常值的分析：1、3σ原则：如果数据符合正态分布，那么数据异常定义在一组测定值与平均值的偏差超过3倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为P(|x-μ|>3σ)≤0.003，属于极个别的小概率事件。但面对不服从正态分布的数据，应该怎么办呢？2、箱型图法：该方法具有很大的鲁棒性：多达25%的数据可以...
Hive数据表小文件合并的Java代码实现
在Hadoop系统中，数据治理涉及到数据的生命周期管理、数据标准的制定、数据质量监控、数据安全保护等多个方面。 4. Hive数据表的小文件合并：小文件合并是指将多个小文件合并为一个或几个较大的文件的过程，从而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据架构师Pony

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值