StarRocks之Hive外部表(1)，还有人不知道什么是大数据开发X的吗

于 2024-04-15 12:39:03 发布
阅读量338 收藏 4
点赞数 5
分类专栏： 2024年程序员学习 文章标签： 大数据 hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84166878/article/details/137776374
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来

最低0.47元/天 解锁文章
2401_84166878
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
StarRocks从入门到精通系列七：理解Catalog、使用Catalog管理Hive、Iceberg
zhengzaifeidelushang的博客
02-08 992
StarRocks从入门到精通系列七：理解Catalog、使用Catalog管理Hive、Iceberg
StarRocks之Hive外部表(1)
2401_84182793的博客
04-12 312
## 添加环境变量。### 重启各个节点。
【StarRocks】StarRocks通过Catalog读取2个Hive集群（高可用集群）
m0_57563112的博客
01-30 627
StarRocks通过Catalog读取2个高可用Hive集群
StarRocks案例5: hive外表报错starrocks [42000][1064] hdfsOpenFile failed
只是甲的博客
06-16 1066
（既不能是spark.zip 也不能是spark-24.zip, 需要在配置文件中写死为 spark-2x.zip）没想到打包名字居然是写死的，而且hive catalog居然受到spark 客户端的影响。现在需要使用hive外表，然后根据官网的的命令创建了hive resource。StarRocks的committer在论坛回复我了，原来是打包的问题。spark jar 打包名字需要是 spark-2x.zip。StarRocks版本 2.5.5。
starrocker关联hive外表
anguoan的博客
12-11 1063
starrocker关联hive外表
大数据StarRocks(六) ：Catalog
运维仙人
01-08 1480
StarRocks 自 2.3 版本起支持 Catalog（数据目录）功能，实现在一套系统内同时维护内、外部数据，方便您轻松访问并查询存储在各类外部源的数据。
Hive内部表和外部表
01-07
一：内部表和外部表的区别 ...用于指定hdfs路径，如果不指定则使用默认的路径，默认路径规则为//.db/，location既可以用于内部表也可以用于外部表。 hive-site.xml hive.metastore.warehouse.dir /d
大数据开发Spar、Hive入门
最新发布
04-26
通过讲解大数据概述、技术栈、数据处理与分析、开发工具、开发流程等内容，结合示例，帮助王子入门大数据开发。 本示例展示了如何使用Apache Spark进行数据处理和机器学习。通过读取CSV文件，对数据进行清洗和特征...
大数据:hive1
01-07
1:什么是hive:由facebook开源的用于解决海量结构化日志的数据统计 2：hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映谢成一张表，并提供类SQL查询功能。 本质：将Hql转化成mpareduce  其基本执行过程：...
Hive管理表和外部表的区别
01-07
如果不知道此表是什么类型的表的话，可以在hive的命令行里打desc formatted table_name查看TABLE TYPE行查看；如果需要创建外部表则需要在创表的语句指定为external，如：create external table table_name。 案例：...
尚硅谷大数据技术之Hive1
08-04
第 1 章 Hive 入门Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化
Hive to StarRocks
lanzier123的专栏
11-07 1714
将Hive 中的数据如何导入到 StarRocks 中
Seatunnel实战：hive_to_starrocks
这个人很懒。
04-06 2693
本篇文章带大家了解使用Seatunnel将Hive中的数据导入到StarRocks中。
CDH Parcel包starrocks集成cloudera Manager
这个人很懒。
11-10 2662
CDH starrocks 集成cloudera Manager
理想汽车 x StarRocks：为 Hive 数据查询插上极速之翼
StarRocks的博客
04-15 3428
成功将 Hadoop 集群的存储和计算进行解耦，并以极低学习成本构建实时分析
Hive日分区表如何快速导入到StarRocks
zdsx1104的专栏
11-27 1737
讨论了HIve按日分区表导入到StarRocks的建表方式，同步方案。分区表的字段有演进时的处理方式。
基于 StarRocks 进行湖仓融合的四种范式
CSDN高校俱乐部官方博客
04-13 2969
但是不同的湖格式和 StarRocks 的建表差异是很大的，它们有各自的分区模式，而且在湖上是不支持分桶的，这样通过分桶（数据分布）提升点查速度就很难实现，StarRocks 通过外表物化视图可以对用户隐藏表格式的差异，让用户无缝的获得透明加速的能力，保证一个表语义的同时也可以给有调优能力的用户提供自己定义的空间。比如，数据通过 Kafka 实时导入到 StarRocks 后，可以定期的将数据刷新到湖上，支持 lceberg/Hudi 等数据湖的格式，并且可以提供给用户统一的查询格式。
第2.11章：StarRocks表设计--外部表
流木的博客
01-04 6425
除了创建表、视图或者物化视图，StarRocks还支持创建外部表来访问外部数据源。所谓外部表，可以简单的理解为是在StarRocks中建立的与外部数据的映射，所有的数据还在各自的数据源中，但我们可以通过外部表向所在的数据源发起查询。目前StarRocks已支持的第三方数据源包括MySQL、ElasticSearch、Hive以及StarRocks。 外部表的创建和使用都比较简单，下面我们逐个介绍。 1 MySQL外部表 在星型模型中，我们一般将表类型划分为维度表和指标表。维度表数据量通常较小，但一般都
什么是Hive外部表？Hive外部表的作用是什么？请举例说明
06-12
在Hive中，外部表是指在Hive中定义的表，但是表的数据存储在Hive之外的外部数据源中，例如HDFS文件系统、S3对象存储、HBase等。与传统的Hive表不同，外部表并不在Hive的数据仓库中存储数据，而是通过指定Hive表与外部数据源的关联关系，将外部数据源中的数据映射到Hive表中。 Hive外部表的主要作用是使Hive能够与其他系统或数据源进行交互，在Hive中定义表的同时，可以直接使用外部数据源中的数据，而无需将数据复制到Hive的数据仓库中。这样可以避免数据冗余，节省存储空间，同时也可以提高数据的访问效率。 举个例子，假设我们需要在Hive中查询HDFS文件系统中的日志数据，但我们并不想将这些数据复制到Hive数据仓库中。我们可以在Hive中定义一个外部表，然后将该表与HDFS文件系统中的日志数据进行关联，这样我们就可以直接在Hive中使用SQL语句来查询HDFS文件系统中的日志数据。例如： ``` CREATE EXTERNAL TABLE log_table ( id INT, log_time TIMESTAMP, message STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/user/hadoop/logs'; ``` 上述代码定义了一个名为log_table的外部表，它与HDFS文件系统中的/user/hadoop/logs目录中的数据进行关联。这个外部表包含三个字段：id、log_time和message。我们可以使用SQL语句来查询这个外部表，例如： ``` SELECT COUNT(*) FROM log_table WHERE log_time BETWEEN '2021-01-01' AND '2021-01-31'; ``` 这样就可以在Hive中查询HDFS文件系统中的日志数据，而无需将数据复制到Hive数据仓库中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值