qq_37163925的博客

1、数据质量的定义数据质量是指在特点情况下，数据的特性满足明确的和隐含的要求的程度。2、数据评价标准框架说明:规范性：数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。完整性：按照数据规则要求,数据元素被赋予数值的程度。准确性：数据准确表示其所描述的真实实体(实际对象)真实值的程度。一致性：数据与其他特定上下文中使用的数据无矛盾的程度。时效性：数据在时间变化中的正确程度。可访问性：数据能被访问的程度。3、数据质量评判标准详解3.1 规范性评价指标3.2 完整性评

压缩和存储1、文件存储格式​ Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。1) 列式存储和行式存储上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。行存储的特点： 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速...

Hive优化​ Hive的存储层依托于HDFS，Hive的计算层依托于MapReduce，一般Hive的执行效率主要取决于SQL语句的执行效率，因此，Hive的优化的核心思想是MapReduce的优化。1、查看Hive执行计划（小白慎用）​ Hive的SQL语句在执行之前需要将SQL语句转换成MapReduce任务，因此需要了解具体的转换过程，可以在SQL语句中输入如下命令查看具体的执行...

Hive动态分区、分桶、视图、join操作Hive的动态分区、分桶采用了分而治之的思想，显著提高了数据的查询效率。视图与查询结合起来，提升了hql语句的可读性。Hive执行引擎会将HQL“翻译”成为MapReduce任务，如果多张表使用同一列做Join,将被“翻译”成一个MapReduce任务，这样就大大减少了MapReduce的作业量。下面进行详细介绍。1. Hive动态分区1.1 hiv...

Hive函数​ Hive中提供了非常丰富的运算符和内置函数支撑，具体操作如下：1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败，因为无效的语法。 SQL使用”=”，不使用”==”。A <> B所有原始类型如果A不等于B返回TRUE,否则返回FALSE...

Hive数据处理语言DML1. 将文件加载到列表中概要注意事项：2. 通过查询将数据插入Hive表概要介绍一下动态分区插入注意事项3. 通过查询将数据写入文件系统概要注意事项4. 从SQL向表中插入值概要注意事项5. 更新(UPDATE)概要6. 删除(DELETE)概要7. 合并(MERGE)概要注意事项1. 将文件加载到列表中LOAD DATA [LOCAL] INPATH 'filepa...

前面介绍了Hive的理论基础以及安装Hive，这篇文章主要介绍Hive的基础数据结构和建表，插入数据等一些基本的操作。注：本人使用的Hive版本为Hive1.2.1，hadoop版本为2.6.4，mysql版本为5.7.26。...

什么是Hive？hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言‘查询...