flink集成hive中遇到的问题以及解决方案

最新推荐文章于 2023-09-29 00:39:37 发布
最新推荐文章于 2023-09-29 00:39:37 发布
阅读量3.6k 收藏 3
点赞数 2
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leoma2012/article/details/110772594
版权

版本：
1）hadoop：2.7.2
2）hive：2.3.4
3）flink：1.11.2
4）os：centos 7.5

1. 首先集成hadoop

1.1 添加如下依赖，因为会有jar包冲突的问题，注意jar包的 ，以及jar包的 ，否则会报类似 hadoop.config找不到的错误

<dependencies>
    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-hive -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-hive_2.12</artifactId>
        <version>1.11.2</version>
        <scope>provided</scope>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>2.3.4</version>
        <exclusions>
            <exclusion>
                <groupId>org.codehaus.janino</groupId>
                <artifactId>janino</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.codehaus.janino</groupId>
                <artifactId>commons-compiler</artifactId>
            </exclusion>
        </exclusions>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-api-java-bridge -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-table-api-java-bridge_2.12</artifactId>
        <version>1.11.2</version>
        <scope>provided</scope>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.8.3</version>
    </dependency>

    </dependencies>

1.2 需要在${FLINK_HOME}下添加对应版本的jar包： flink-shaded-hadoop-2-uber-2.7.2-10.0.jar
因为flink从1.11版本后不在自带此jar包，因为需要自己编译，编译过程参考
（1）https://blog.csdn.net/Charlie_jun/article/details/108362658
（2）https://www.bookstack.cn/read/flink-1.11.1-zh/d7dedd0862dd0121.md#providing-hadoop-classes

2. 将hive-site.xml文件放在maven项目的resource目录下。

3. 如下报错 Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris

Caused by: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:302) ~[flink-clients_2.11-1.11.0.jar:1.11.0]
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:198) ~[flink-clients_2.11-1.11.0.jar:1.11.0]
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:149) ~[flink-clients_2.11-1.11.0.jar:1.11.0]
        at org.apache.flink.client.deployment.application.ApplicationDispatcherBootstrap.runApplicationEntryPoint(ApplicationDispatcherBootstrap.java:230) ~[flink-clients_2.11-1.11.0.jar:1.11.0]
        ... 10 more
Caused by: java.lang.IllegalArgumentException: Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris
        at org.apache.flink.util.Preconditions.checkArgument(Preconditions.java:139) ~[data-flow-1.0.jar:?]
        at org.apache.flink.table.catalog.hive.HiveCatalog.<init>(HiveCatalog.java:171) ~[flink-sql-connector-hive-2.2.0_2.11-1.11.0.jar:1.11.0]
        at org.apache.flink.table.catalog.hive.HiveCatalog.<init>(HiveCatalog.java:157) ~[flink-sql-connector-hive-2.2.0_2.11-1.11.0.jar:1.11.0]
        at cn.ibobei.qile.dataflow.sql.FromKafkaSinkHiveAndHbase$.main(FromKafkaSinkHiveAndHbase.scala:27) ~[data-flow-1.0.jar:?]
        at cn.ibobei.qile.dataflow.sql.FromKafkaSinkHiveAndHbase.main(FromKafkaSinkHiveAndHbase.scala) ~[data-flow-1.0.jar:?]
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_161]
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_161]
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_161]
        at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_161]
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:288) ~[flink-clients_2.11-1.11.0.jar:1.11.0]
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:198) ~[flink-clients_2.11-1.11.0.jar:1.11.0]
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:149) ~[flink-clients_2.11-1.11.0.jar:1.11.0]
        at org.apache.flink.client.deployment.application.ApplicationDispatcherBootstrap.runApplicationEntryPoint(ApplicationDispatcherBootstrap.java:230) ~[flink-clients_2.11-1.11.0.jar:1.11.0]

原因：Flink 集成 Hive 时，不支持 embedded metastore 的, 需要起一个hive metastore 并在conf文件配置，在server端中，hive.metastore.uris为none，在client端中，hive.metastore.uris要配置相应的值： 如 thrift://myv175.mlamp.cn:9083，先启动 nohup hive --service metastore >> ~/metastore.log 2>&1 & ，后启动 nohup hive --service hiveserver2 >> ~/hiveserver2.log 2>&1 &

参考地址：
（1）https://blog.csdn.net/aA518189/article/details/103622261
（2）https://blog.csdn.net/xianpanjia4616/article/details/107603028
（3）http://apache-flink.147419.n8.nabble.com/flink1-11-sink-hive-error-td4939.html

4. 报错 The main method caused an error: Unable to instantiate java compiler

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler
    at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
    at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
    at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:138)
    at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:664)
    at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
    at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:895)
    at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:968)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
    at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
    at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:968)
Caused by: java.lang.IllegalStateException: Unable to instantiate java compiler
    at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.compile(JaninoRelMetadataProvider.java:434)
    at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.load3(JaninoRelMetadataProvider.java:375)
    at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.lambda$static$0(JaninoRelMetadataProvider.java:109)
    at org.apache.flink.calcite.shaded.com.google.common.cache.CacheLoader$FunctionToCacheLoader.load(CacheLoader.java:149)
    at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$LoadingValueReference.loadFuture(LocalCache.java:3542)
    at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$Segment.loadSync(LocalCache.java:2323)
    at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$Segment.lockedGetOrLoad(LocalCache.java:2286)
    at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$Segment.get(LocalCache.java:2201)
    at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache.get(LocalCache.java:3953)
    at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache.getOrLoad(LocalCache.java:3957)
    at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$LocalLoadingCache.get(LocalCache.java:4875)
    at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.create(JaninoRelMetadataProvider.java:475)
    at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.revise(JaninoRelMetadataProvider.java:488)
    at org.apache.calcite.rel.metadata.RelMetadataQuery.revise(RelMetadataQuery.java:193)
    at org.apache.calcite.rel.metadata.RelMetadataQuery.getPulledUpPredicates(RelMetadataQuery.java:797)
    at org.apache.calcite.rel.rules.ReduceExpressionsRule$ProjectReduceExpressionsRule.onMatch(ReduceExpressionsRule.java:298)
    at org.apache.calcite.plan.AbstractRelOptPlanner.fireRule(AbstractRelOptPlanner.java:319)
    at org.apache.calcite.plan.hep.HepPlanner.applyRule(HepPlanner.java:560)
    at org.apache.calcite.plan.hep.HepPlanner.applyRules(HepPlanner.java:419)
    at org.apache.calcite.plan.hep.HepPlanner.executeInstruction(HepPlanner.java:256)
    at org.apache.calcite.plan.hep.HepInstruction$RuleInstance.execute(HepInstruction.java:127)
    at org.apache.calcite.plan.hep.HepPlanner.executeProgram(HepPlanner.java:215)
    at org.apache.calcite.plan.hep.HepPlanner.findBestExp(HepPlanner.java:202)
    at org.apache.flink.table.planner.plan.optimize.program.FlinkHepProgram.optimize(FlinkHepProgram.scala:69)
    at org.apache.flink.table.planner.plan.optimize.program.FlinkHepRuleSetProgram.optimize(FlinkHepRuleSetProgram.scala:87)
    at org.apache.flink.table.planner.plan.optimize.program.FlinkChainedProgram$$anonfun$optimize$1.apply(FlinkChainedProgram.scala:62)
    at org.apache.flink.table.planner.plan.optimize.program.FlinkChainedProgram$$anonfun$optimize$1.apply(FlinkChainedProgram.scala:58)
    at scala.collection.TraversableOnce$$anonfun$foldLeft$1.apply(TraversableOnce.scala:157)
    at scala.collection.TraversableOnce$$anonfun$foldLeft$1.apply(TraversableOnce.scala:157)
    at scala.collection.Iterator$class.foreach(Iterator.scala:891)
    at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)
    at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
    at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
    at scala.collection.TraversableOnce$class.foldLeft(TraversableOnce.scala:157)
    at scala.collection.AbstractTraversable.foldLeft(Traversable.scala:104)
    at org.apache.flink.table.planner.plan.optimize.program.FlinkChainedProgram.optimize(FlinkChainedProgram.scala:57)
    at org.apache.flink.table.planner.plan.optimize.StreamCommonSubGraphBasedOptimizer.optimizeTree(StreamCommonSubGraphBasedOptimizer.scala:170)
    at org.apache.flink.table.planner.plan.optimize.StreamCommonSubGraphBasedOptimizer.doOptimize(StreamCommonSubGraphBasedOptimizer.scala:90)
    at org.apache.flink.table.planner.plan.optimize.CommonSubGraphBasedOptimizer.optimize(CommonSubGraphBasedOptimizer.scala:77)
    at org.apache.flink.table.planner.delegation.PlannerBase.optimize(PlannerBase.scala:248)
    at org.apache.flink.table.planner.delegation.PlannerBase.translate(PlannerBase.scala:151)
    at org.apache.flink.table.api.internal.TableEnvironmentImpl.translate(TableEnvironmentImpl.java:682)
    at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlUpdate(TableEnvironmentImpl.java:495)
    at realtime.log.reports.RealtimeUserReport$.active_user_10min(RealtimeUserReport.scala:245)
    at realtime.log.reports.RealtimeUserReport$.main(RealtimeUserReport.scala:163)
    at realtime.log.reports.RealtimeUserReport.main(RealtimeUserReport.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:321)
    ... 11 more
Caused by: java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory
    at org.codehaus.commons.compiler.CompilerFactoryFactory.getCompilerFactory(CompilerFactoryFactory.java:129)
    at org.codehaus.commons.compiler.CompilerFactoryFactory.getDefaultCompilerFactory(CompilerFactoryFactory.java:79)
    at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.compile(JaninoRelMetadataProvider.java:432)

原因： jar包冲突，注意引入包的 

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>1.2.1</version>
    <exclusions>
        <exclusion>
            <groupId>org.codehaus.janino</groupId>
            <artifactId>janino</artifactId>
        </exclusion>
        <exclusion>
            <groupId>org.codehaus.janino</groupId>
            <artifactId>commons-compiler</artifactId>
        </exclusion>
    </exclusions>
</dependency>

5. 报错 Cannot instantiate user function.

Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function.
    at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfig.java:250)
    at org.apache.flink.streaming.runtime.tasks.OperatorChain.<init>(OperatorChain.java:115)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:370)
    at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:705)
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:530)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassCastException: cannot assign instance of org.apache.commons.collections.map.LinkedMap to field org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase.pendingOffsetsToCommit of type org.apache.commons.collections.map.LinkedMap in instance of org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer
    at java.io.ObjectStreamClass$FieldReflector.setObjFieldValues(ObjectStreamClass.java:2233)
    at java.io.ObjectStreamClass.setObjFieldValues(ObjectStreamClass.java:1405)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2288)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2206)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2064)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1568)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2282)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2206)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2064)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1568)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2282)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2206)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2064)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1568)
    at java.io.ObjectInputStream.readObject(ObjectInputStream.java:428)
    at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:576)
    at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:562)
    at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:550)
    at org.apache.flink.util.InstantiationUtil.readObjectFromConfig(InstantiationUtil.java:511)
    at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfig.java:235)
    ... 5 more

原因：修改：默认设置指示首先从用户代码jar加载类，这意味着用户代码jar可以包含和加载不同于Flink使用的依赖项(传递性地)。在conf/flink-conf.yaml 添加如下内容并重启 flink.

classloader.resolve-order: parent-first
leoma2012
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive中UDF函数包含HttpClient依赖冲突
北京小辉
04-11 2123
目录 一、错误信息 二、问题分析及解决 三、httpclient-4.2.5版本Get，Post方法 四、httpclient-4.5.3版本Get，Post方法 一、错误信息： Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public java.lang.String...
flink连接hive踩坑
张小小凡
07-05 785
先看这个文章 https://ververica.cn/developers/hive-flink/ 我先是按照这个文章连接hive，启动sql-client时各种报错 解决 sql-clienr启动时报错。报错信息拉倒最下面class not found xxx，在hive_home/lib下找相对应的jar包，xxxjar包，复制到flink_home/lib下就可以解决。一个一个拷贝，拷贝一次启动一次，出现相同的错误继续拷贝。最后启动成功。 吐槽 我之前只是用的streaming api，感觉Fli
记一次Flink自带jar包与第三方jar包依赖冲突解决
qq_39448012的博客
08-25 2202
flink java.lang.NoClassDefFoundError: com/google/protobuf/GeneratedMessageV3
flink1.12.3批写hive相关问题解决------guava版本冲突解决
平平无奇小码农~
08-26 608
待更新。。。
flink sql client读取hive时卡住
微电子学与固体电子学-俞驰
12-23 1082
问题复现如下： 查看$FLINK_HOME/log/flink-appleyuchi-sql-client-Desktop.log 2020-12-23 11:48:56,811 INFO org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.ClientCnxn [] - Opening socket connection to server Laptop/192.168.0.103:2182. Will not attempt t..
flink1.11 连接hive 与 hive的远程连接的配置与错误踩坑总结
weixin_38472282的博客
10-15 2524
hive远程配置 前提环境要求安装mysql和安装hadoop 安装hive，要搭建可以进行远程连接hive的环境 远程连接hive，服务端和客户端不在一个节点的上的搭建方式 1.前期准备的包 环境为hive-3.1.2 需要下载 hive-exec-3.1.2.jar，mysql-connector-java-5.1.40.jar这两个包放在hive_home／lib下 2. 服务端的配置修改hive-site.xml,如果在hive_home／conf下没有这个文件则： cp hive-site.x
flink1.12.0集成或者连接hive3.1.2的依赖包
04-16
标题提到的是 Flink 1.12.0 版本与 Hive 3.1.2 版本的集成，这是一个常见的需求，因为这两大组件的结合能够提供强大的实时数据分析解决方案。在 Flink 1.12.0 中，已经对 Hive 连接器进行了优化和增强，使其更加稳定...
字节跳动基于Flink的MQ Hive实时数据集成.pdf
03-13
总结来说，字节跳动基于Flink的MQ-Hive实时数据集成方案是针对大数据环境下数据集成的挑战提出的一种高效解决方案，它利用Flink的实时处理能力改进了传统的批处理流程，实现了高稳定性和实时性的目标，降低了存储和...
java 大数据 spark flink redis hive hbase kafka 面试题 数据结构 算法 设计模式.zip
最新发布
03-05
10. **设计模式**：设计模式是软件开发中解决问题的通用解决方案，如单例、工厂、观察者、装饰器、适配器等23种GOF设计模式，面试时会考察对这些模式的理解及实际应用。 理解并熟练掌握这些知识点，对于在IT行业内...
flink读取hive表数据的一些现象
科学的N次方
04-13 1121
配置文件sql-client-defaults.yaml 中 execution: planner: blink type: batch – batch or streaming ？默认是streaming 使用bin/sql-client.sh embedded 进入客户端，查询hive中表数据 现象1：创建的hive小表src，type: streaming flinksql是可以读取的。type: batch flinksql可以读取。 现象2：创建flink的kafka user_log流表
Flink 实战问题（六）：Cannot instantiate user function、StreamCorruptedException: unexpected block data
在前进的路上
06-12 4464
Flink 任务提交，刚启动，一直运行报错：org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function、StreamCorruptedException: unexpected block data
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: org.apa
qq_48499752的博客
11-03 1694
fink中异常
IDEA中spark-sql连接外置hive报错解决
weixin_72808879的博客
09-29 602
问题：hive-exec版本号为1.2.1无法导入尝试：由于1.2.1始终导入不成功，我尝试了和hive版本一致的3.1.2版本，导入后在进行数据修改时，常常会报错：在这期间，有尝试了许许多多方法去解决无法实例化SessionHiveMetaStoreClient的问题，诸如：删除以往的warehouse文件夹，不断调整exec的版本，重启hadoop和hive服务，开放端口关闭防火墙，启动和重新初始化元存储数据库等等但都没有解决。
【深度好文】Flink1.14.3 Table读取Hive数据仓库
大数据研习社
04-25 1491
摘要： 案例使用最新稳定版本Flink1.14.3。 Flink Table和SQL从Flink1.12版本已经成熟，可以在生产上放心使用。 Flink Table和SQL从Flink1.12实现了流批统一的所有特性。 Flink Table和SQL与Hive集成需要特别注意版本的兼容性。 1 需求 需求：Flink Table API从Hive数据仓库读取表数据。 2 添加Maven依赖 FlinkTable集成Hive需引⼊如下依赖： <dependency> ..
flink hive 异常以及解决办法
HiBoyljw的博客
09-27 2484
[ERROR] Could not execute SQL statement. Reason: java.lang.NoClassDefFoundError: Could not initialize class org.apache.flink.table.catalog.hive.factories.HiveCatalogFactoryOptions 原因：缺失依赖 解决办法： 新增hive-exec-3.1.0.jar 依赖 [ERROR] Could not execute SQL state
Flink 实战 —— Flink 集成 Hive
dwjf321的博客
11-18 3606
flink sql flink 整合 hive
flink执行任务调用其它so时报错
weixin_38374023的博客
03-28 3901
1 现象：提交任务后org.apache.flink.client.program.ProgramInvocationException: The program caused an error: at org.apache.flink.client.program.OptimizerPlanEnvironment.getOptimizedPlan(OptimizerPlanEnvironme...
java flink 读取 hive 表中的数据写入 redis
01-05
java flink是一个高性能的分布式流式计算框架，可以实现大规模的数据处理和分析。而hive是一个分布式数据仓库工具，可以用于存储和查询大规模的结构化数据。redis是一个高性能的内存数据库，可以用于存储和检索数据。 要实现java flink读取hive表中的数据写入redis，我们可以按照以下步骤进行操作： 1. 在java flink中，首先需要配置并连接到hive数据库。可以使用Flink的HiveCatalog来创建一个连接到Hive的catalog，并设置相关的hive metastore地址、用户名和密码等。 2. 根据需要，编写flink程序来读取hive表的数据。可以使用flink的DataStream或Table API来读取hive表数据，并将其转换为适当的数据流或表。 3. 在准备好数据之后，我们可以使用flink的RedisSink来将数据写入redis中。在使用RedisSink之前，需要先引入flink-connector-redis的依赖包，并在flink配置文件中配置好redis的连接参数，如redis的主机地址、端口号、密码等。 4. 编写代码将数据写入redis。可以根据数据的特点，选择将整个数据写入一个redis数据结构中，或者将数据分解为多个key-value对存储到redis中。 5. 在代码编写完成后，我们可以使用flink提供的命令或者IDE工具来运行flink程序，它会自动连接到hive数据库和redis，并完成数据的读取和写入。 通过以上步骤，java flink就可以实现读取hive表中的数据并写入redis。这样可以通过flink的分布式计算和hive的数据存储能力，结合redis的高速读写能力，实现大规模数据的处理和查询。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值