Hive-001

最新推荐文章于 2024-09-30 00:07:04 发布
最新推荐文章于 2024-09-30 00:07:04 发布
阅读量122 收藏
点赞数
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DXH9701/article/details/120122663
版权
本文介绍了数据仓库的核心概念，包括主题、集成性、分层架构（APP、DW、ODS层）以及元数据的重要作用。主题数据代表不同行业的特定部分，如零售商的库存和客户数据。集成性强调了将不同主题数据整合在一起。分层架构中，APP层用于数据应用，DW层为数据仓库，而ODS层作为原始数据来源。元数据则记录了各层间的映射关系，通过MetaRepository进行管理。
摘要由CSDN通过智能技术生成

文章目录

概述

… …诸君自己百度

特征

主要面向 主题,集成,非易失,和时变的数据集合

主题
	代表着各行各业中,代表着不同部分的数据.
	比如: 零售商,可以有产品,有库存,有客户的主题

在这里插入图片描述
和以前在MySQL中的数据表是一个概念

集成性
	对于集成性来说,这个数据经过清晰,归纳之后,某一主题的数据以及衍生的主题数据,归纳到了一起
	比如: 保险,下面还有医疗保险,车保险

在这里插入图片描述
在这里插入图片描述

分层架构

top(APP|DA): 数据应用
middle(DW): 数据仓库
	从数据源取得的数据.已经有了格式
down(ODS): 数据源 
	数据仓库中的数据来源

在这里插入图片描述

元数据

记录各个层之间的映射关系.
通过 MetaRepository 进行管理.

路上^_^
关注
专栏目录
hive-1.1.0-cdh5.16.2部署
wjw0806的博客
12-22 876
hive-1.1.0-cdh5.16.2部署 一、下载 [hadoop@khadoop app]$ wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2.tar.gz 二、解压和配置文件 [hadoop@hadoop001 software]$ tar -xzvf hive-1.1.0-cdh5.16.2.tar....
Hive实战：HiveServer2、HiveMetastore、Beeline与hive-site.xml配置文件的关系
fancychuan的博客
08-03 1707
Metastore是元数据服务 HiveServer2是用于提供JDBC访问的服务端 Beeline是使用JDBC的方式访问HiveServer2的客户端 hive-site.xml是hive的配置文件，需要注意的是，不管是服务端还是客户端，均是从hive-site.xml读取配置项。因此，在配置hive-site.xml时，要注意配置项是用于服务端的还是客户端的。 1.Metastore与Hive-site.xml 主要关注的配置项：hive.metastore.uris <.
1、apache-hive-3.1.2简介及部署（三种部署方式-内嵌模式、本地模式和远程模式）及验证详解
热门推荐
alanchanchn的专栏
06-05 5万+
Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop群集执行。Hive由Facebook实现并开源。
hive-1.1.0-cdh1.51.1部署
xinji
10-08 322
1.解压源文件 [hadoop@hadoop001 software]# tar -zxvf apache-hive-1.1.0-cdh5.15.1-bin.tar.gz -C /home/hadoop/app/ #建立软链接 [hadoop@hadoop001 software]# ln -s apache-hive-1.1.0-cdh5.15.1-bin zookeeper # 配置环境 e...
sqoop 测试 --hive-delims-replacement 参数
afei2530的博客
10-15 1117
在hive的官方文档中给的例子中字段分隔符是\001,但是在他的API文档中--hive-delims-replacement ，--hive-drop-import-delims 参数中会处理的字符是\0x01,一个时8进制的1，一个是16进制的1，有这么一点差别，lz为了确认这两个是否一样故做了下面的实验 Example: CREAT...
hudi-hive-sync
地球人是我哈的博客
06-02 4437
hudi-hive-sync Syncing to Hive 有两种方式: 在hudi 写时同步 使用run_sync_tool.sh 脚本进行同步 1. 代码同步 val spark = SparkSession .builder() .config(sparkConf) .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .getOrCreate()
大数据基础学习-7.Hive-1.1.0
闲人勿
04-27 1615
一、引入Hive原因– 对存在HDFS上的文件或HBase中的表进行查询时，要手工写一堆MapReduce代码– 对于统计任务，只能由懂MapReduce的程序员才能搞定，耗时耗力FaceBook实现并开源Hive，解决海量结构化日志查询– Hive是一个SQL解析引擎，将SQL语句转译成MR Job，然后在Hadoop平台上运行，达到快速开发的目的。Hive一般不会直接接入到业务中使用，从某种意...
Hive---DDL
weixin_47109902的博客
03-11 658
因此通常使用这些工具将数据流式传输到现有分区中，但是这会使读者感到脏读（也就是说，他们将在开始查询后看到写入的数据），并将许多小文件留在目录中，这将给NameNode带来压力。换句话说，Hive完全管理表（元数据和数据）的生命周期，类似于RDBMS中的表。当您删除内部表时，它会删除数据以及表的元数据。如果不对表进行分区，那么在执行查询的时候，会对全表进行检索才能得出相应的结果，如果数据文件很多的话，则会大大降低查询效率，此时可以通过对表进行分区，避免查询时候全表扫描数据，极大的提升了查询效率。
hive -f 传递参数
weixin_34161032的博客
01-08 1879
hive -f 在执行sql脚本文件的时候是可以传递参数的，但是要注意hive版本： 　　注意：hive在0.9版本之前是不支持-f传递参数的，只有1.0之后才支持次功能。 使用如下： 　　1、创建sql脚本文件，内容如下 select * from test where id = '${hiveconf:id}' 　　2、hive -f 传递参数 hive -hiveco...
hive-1.2 和 hive-3.1 函数不兼容的说明
houzhizhen的专栏
09-28 989
以下函数，hive-1.2 和 hive 3.1 中，相同的参数，返回的结果不同。在迁移过程中，容易导致数据结果不正确。
hive-metastore-3.1.2.jar
04-15
hive-metastore-3.1.2.jar
Hive数仓操作（四）
m0_58076578的博客
09-30 366
COLLECTION ITEMS TERMINATED BY ‘,’这一部分指定了集合类型中的元素（如数组或映射）之间的分隔符。在这个例子中，集合中的元素用 , （逗号）来分隔。 例如，如果某个字段的值是 id:1111,token:2222,user_name:zhangsan1，那么这个字符串被看作一个集合，元素之间用逗号分隔。 4）. MAP KEYS TERMINATED BY ‘:’ 这一部分指定了映射类型（即键值对）中键和值之间的分隔符。在这个例子中，键和值用 : （冒号）来分隔。 例如，如果
hive如何删除分区
别人笑我太疯癫，我笑他人看不穿。
09-25 379
在Hive中，删除分区是一个常见的操作。你可以使用ALTER TABLE DROP PARTITION语句来删除一个或多个分区。
数仓建模：DataX同步Mysql数据到Hive如何批量生成建表语句？| 基于SQL实现
石榴姐yyds
09-29 707
表数量不多的话还好，如果多库多表需要批量采集的话工作量会很大，因此需要一个批量生成建表语句的功能来节省人力。5）业务指标体系该如何建设？本文基于SQL给出了一种 DataX同步Mysql数据到Hive批量生成建表语句的方法及技巧，该方法和技巧在数仓开发中经常被用到。专栏 原价99，现在活动价39.9，按照阶梯式增长，还差3个名额将上升至59.9，直到恢复原价。7）指标发生异常，该如何排查？11）数据部门如何与业务部门沟通，并规划指引业务需求？9）数仓团队应如何体现自己的业务价值，讲好数据故事？
大数据毕业设计选题推荐-超市进货推荐系统-Hive-Hadoop-Spark
IT研究室的博客
09-25 1252
随着我国零售业的持续发展，超市成为了日常消费的主要场所之一。根据中国连锁经营协会发布的《2022年中国连锁百强报告》，2022年我国超市行业市场规模已超过4.5万亿元，市场竞争日趋激烈。面对日益复杂的市场环境和日益多样化的消费者需求，超市的运营与管理正变得更加依赖数据驱动的决策。如何通过精准进货、优化库存管理、合理安排促销策略，成为了超市保持竞争力的关键。在信息化快速发展的今天，传统的采购和库存管理模式已难以满足精细化管理的需求。
Hive数仓操作（五）
最新发布
m0_58076578的博客
09-30 508
Hive 将表的元数据（如表名、列名、类型等）存储在关系型数据库中，通常是 MySQL。元数据的主要表包括： TBLS：存储表的信息（表名、类型、ID 等）。 COLUMNS_V2：存储每个列的详细信息（列名、类型等）。 DBS：存储数据库的信息。 SDS：存储数据文件的位置。
Hive数仓操作（三）
m0_58076578的博客
09-29 477
在 Hive 中，有多种类型的表，主要包括：内部表（Managed Table）：默认的表类型。创建时，Hive 会在默认的 warehouse 目录中创建一个以表名命名的目录，并将数据存储在该目录下。 当删除内部表时，表结构和数据都将被删除。 外部表（External Table）： 创建时，Hive 不会管理数据的存储位置。数据可以存储在 HDFS 中的任何位置。 删除外部表时，只删除表结构，而不会删除数据。
Spring MVC系统学习（二）——Spring MVC的核心类和注解
2301_79858914的博客
09-29 672
Spring MVC（Model-View-Controller）是Spring框架的一个模块，用于构建基于Web的应用程序。它使用模型、视图和控制器分离的设计模式，使得Web开发更加模块化和灵活。在学习Spring MVC时，有几个核心类和注解是非常关键的，尤其是等。这些知识点是构建Spring MVC应用的基础。我们将逐步讲解这些概念，确保详细且易于理解。
Python知识点：如何使用Hive与PyHive进行数据仓库操作
码农超哥的博客
09-29 569
使用Hive与PyHive进行数据仓库操作涉及多个步骤，包括Hive的安装与配置、PyHive的安装以及通过PyHive执行Hive SQL语句等。
hive -e 'show tables' | xargs -I {}
06-10
这是一个Unix/Linux命令中的管道符号，将Hive中的show tables命令的输出作为xargs命令的输入。xargs -I {}表示将{}作为替换符号，用来替换命令中的参数。在这个命令中，xargs命令将会把Hive中的show tables命令的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值