前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站:https://www.captainai.net/dongkelun
前言
本文为组内同事整理,这里稍作改动记录。本文主要修改Spark源码,实现Spark Spark Thrift Server 注册到到ZK,通过ZK连接实现负载均衡;另外可以通过使用Kyuubi实现HA,这里不做详细描述
背景
- Spark ThriftServer 不支持Zookeeper连接,不能实现负载均衡。
- 解决方案:修改Spark ThriftServer源码,使其支持Zookeeper连接
- 版本信息:Spark3.1.2 ;Hive2.3.7
Spark ThriftServer 启动命令
nohup spark-submit --master