60-100-340-使用-DataSource-hive相关-Flink加载hive数据源

最新推荐文章于 2022-11-01 07:00:00 发布
最新推荐文章于 2022-11-01 07:00:00 发布
阅读量862 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/104814552
版权
大数据-flink 专栏收录该内容
838 篇文章 846 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了如何将Flink与Hive集成，包括下载flink-hcatalog源码，添加依赖，配置flink的Jar，启动Hive metastore服务以及最终从Hive表中读取数据的步骤。
摘要由CSDN通过智能技术生成

1.世界

在这里插入图片描述

2.概述

3.下载flink-hcatalog

下载flink-hcatalog源码并添加到自己的项目中（不要用它的jar包，因为它依赖的hive库版本都太低了）。

路径：http://central.maven.org/maven2/org/apache/flink/flink-hcatalog/1.6.1/flink-hcatalog-1.6.1-sources.jar

4.添加依赖

<dependency>
  <groupId>org.apache.hadoop</groupId>
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】FlinkSQL读取hive数据（批量）
一杯咖啡半杯糖的博客
02-20 914
Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取，方便后续的操作，本次例子为Flink1.13.6版本
hive2-datasource:基于 hive2 多主机 adbc 的数据源。 这将有助于以循环方式进行负载平衡，同时从每个 Hive2 服务器获取新连接
07-03
此数据源旨在处理来自单个数据源的多个 hiveserver2 连接，每次调用 Datasource.getConnection() 时，它都会创建一个连接到底层 hiveserver2 的新实例。
SpringBoot DataSource集成Hive、Phoenix、Presto数据源(带Kerberos校验)
jayjwes190的专栏
09-18 1263
在数据中台的落地过程中，元数据管理经常需要和多个数据源进行交互，下面我们延时几个数据源 1. HiveDataSource @Configuration @Enabl...
Spark--Datasource（Hive）
Star-Technology
08-04 453
package com.spark.sparksql.datasource.java;import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.DataFrame; import org.apache.spark.sql.Row;
flink1.11.2连接hive数据库
weixin_43943806的博客
11-30 8959
#flink连接hive并读取数据 前提条件 已经有Hadoop和hive的环境 flink版本1.11.2 设置hive-site.xml #修改hive-site.xml文件如下，此文件不是修改hive安装目录下面的文件而是你项目启动的环境 直接拷贝hive下面的过来修改了一样的 <configuration> <property> <name>hive.metastore.uris</name> <value>thrift://192.1
spark-acid:基于Hive ACID的Apache Spark的ACID数据源
03-14
适用于Apache Spark的Hive ACID数据源一个基于Spark Datasource V1 API的数据源，为提供Spark支持。 此数据源提供了与Hive ACID V2表，完全ACID表以及仅插入表一起使用的功能。 功能可用性矩阵功能性完整的ACID表仅...
spring-boot集成mybtis+druid实现hive/mysql多数据源切换
09-28
本文将详细讨论如何使用Spring Boot、MyBatis和Druid来实现MySQL与Hive之间的多数据源切换，以满足不同业务场景的需求。 首先，Spring Boot是Spring框架的一种轻量级实现，它简化了配置并提供了快速开发新应用的...
grafana-checkmk-datasource：Grafana的CheckMK数据源
02-03
Checkmk数据源这是Checkmk指标的Grafana数据源。要求最低Checkmk版本是1.6.0p2 。 Grafana数据源需要Checkmk企业版或Checkmk托管服务版。插件配置网址： 使用的Checkmk服务器的URL。 示例： 用户名： 用于API调用的...
graphql-datasource:Grafana数据源插件可从GraphQL API查询数据
05-05
GraphQL数据源 数据源插件，可访问GraphQL API，以获取数字时间序列数据，常规/表格数据，注释和仪表板变量。 GraphQL查询必须进行结构化，以便在响应中可配置的数据路径（默认data ）下返回感兴趣的数据。 如果该...
grafana-azure-datasource：Azure以及Grafana的数据源
01-30
Grafana Azure Plus数据源 Grafana Azure plus数据源插件为grafana提供了额外的Azure功能。 产品特点 Azure资源图 Azure成本分析 Azure服务运行状况 安装 有多种安装此插件的方法 下载并解压缩zip文件 从下载zip...
flink-5 flink的DataSource数据源
a3125504x的博客
09-18 300
flink的DataSource数据源基于文件基于socket基于集合自定义输入 基于文件 object txt { def main(args: Array[String]): Unit = { //构建流处理的环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment //从socket获取数据 val sourceStream: DataSt
flink自定义数据源
weixin_44431279的博客
03-20 461
转载自flink从0到1学习个人收藏学习所用，
pyflink 连接操作hive
科学的N次方
04-16 775
from pyflink.table import * from pyflink.table.catalog import HiveCatalog env_settings = EnvironmentSettings.new_instance().in_batch_mode().use_blink_planner().build() tableEnv = BatchTableEnvironment.create(environment_settings=env_settings) catalog_..
java配置hive数据源_java整合hive-jdbc
weixin_39612110的博客
02-24 595
importcom.didichuxing.fe.offline.config.HiveConfig;importcom.didichuxing.fe.offline.entity.TableInfo;importcom.didichuxing.fe.offline.util.DateUtil;importcom.didichuxing.fe.offline.util.ParquetShema;i...
理解Spark中SparkSQL模块DataSource中Hive Tables
杨鑫newlife的专栏
05-05 809
Spark SQL还支持读取和写入存储在Apache Hive中的数据。但是，由于Hive具有大量依赖项，因此这些依赖项不包含在默认的Spark分发中。如果可以在类路径上找到Hive依赖项，Spark将自动加载它们。请 注意，这些Hive依赖项也必须存在于所有工作节点上，因为它们需要访问Hive序列化和反序列化库（SerDes）才能访问存储在Hive中的数据。 通过在conf/中放置hive-...
存在的hive插入数据_数据仓库分层建设工作记录
weixin_34142444的博客
12-20 206
记录一次工作简单的数据仓库建设流程。其实需求逻辑很简单，构建一个用户画像系统的底层数据供应，本次我仅仅只要将后端的数据从数据库中拿出来存进入到ES中就好了，具体而言，分为。1. 梳理业务数据，整理excel，形成数据字典和一系列规范，可以理解成是给数据定性，梳理元数据和数据血缘，知道数据从哪些分表汇聚到主表，业务数据分类等等。2. 从关系型数据库中导入数据到Hive的ods层3. 从Hive的od...
Flink SQL操作Hudi并同步Hive使用总结
最新发布
主要分享大数据相关的知识，如Spark、Hudi
11-01 7309
记录总结自己第一次如何使用Flink SQL读写Hudi并同步Hive，以及遇到的问题及解决过程。关于Flink SQL客户端如何使用可以参考：Flink SQL 客户端查询Hive配置及问题解决Flink 1.14.3 Hudi 0.12.0/0.12.1本文采用Flink yarn-session模式，不会的可以参考之前的文章。下载地址：https://repo1.maven.org/maven2/org/apache/hudi/hudi-flink1.14-bundle/0.12.1/hudi-fli
JAVA如何连接Hive
非著名程序猿
04-25 5707
pom.xml <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.3</version&.
SpringBoot重点详解--整合hive-jdbc
热门推荐
pengjunlee的博客
08-19 9万+
目录 添加依赖与配置 配置数据源与JdbcTemplate 使用DataSource操作 Hive 使用 JdbcTemplate 操作 Hive 启动测试 创建Hive表 查看Hive表 导入数据 插入数据 本文将对如何在Springboot项目中整合hive-jdbc进行简单示例和介绍，项目的完整目录层次如下图所示。 官方帮助文档地址：https:/...
MCTS 70-562考试：ASP.NET应用开发指南
- 实现DataSource控件：掌握DataSource控件的配置和使用，以实现数据源与控件的绑定。 - 数据绑定控件：学习使用DataList、FormView等控件将数据绑定到UI上。 这本参考书将详细讲解这些主题，帮助考生深入理解并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值