livy源码阅读

原创 2018年04月17日 20:12:34

在client端使用RESTAPI新建session时的时序图:
这里写图片描述

使用RESTAPI执行一段代码
这里写图片描述

client端和driver端建立连接,这个过程是:client端建立一个RPCServer,并建一个RSCClient,将其注册到Client端的RPCServer中的PendingClients,然后将其server的host,port,clientID和secret存放到conf中并传入RSCDriver中,在RSCDriver中我们会新建一个RPCServer,并根据conf中的信息中的clientID和secret注册到driver端的RPCServer的pendingclients中,并依据信息新建一个RSCClient,与client端的RPCServer相连,获取连接,并返回driver端的RPCServer的地址与端口,用于client进行申请连接

这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_32635069/article/details/79980038

Livy原理详解

概述  当前spark上的管控平台有spark job server,zeppelin,由于spark job server和zeppelin都存在一些缺陷,比如spark job server不支持...
  • qq_36330643
  • qq_36330643
  • 2017-07-31 11:35:25
  • 529

如何源码编译Livy

首先下载Livy 前置条件: Xcode command line toolsOracle's JDK 1.7+Maven (Homebrew)Python 2.6+R 3.xLivy req...
  • qq_21246073
  • qq_21246073
  • 2017-10-10 20:02:28
  • 691

Livy 安装使用说明

Livy的local模式,为什么选择Livy,Livy支持的restful;livy hdfs上面的的依赖jar 问题;Livy 提供的关键字参数...
  • UnionIBM
  • UnionIBM
  • 2016-10-13 18:45:43
  • 2421

利用 livy 远程提交 spark作业

利用 livy 远程提交 spark作业 1. 下载,安装 livy 下载 地址 :http://livy.io/quickstart.html 下载之后,解压即可运行 2. ...
  • Smoozer
  • Smoozer
  • 2016-08-19 09:27:41
  • 3784

Spark2.0.1 on yarn with hue 集群安装部署(六)livy安装测试

原文链接:http://www.infocool.net/kb/Spark/201611/224780.html livy安装测试 一、R安装 如果未安装R,可以先安装R,用于支持Spark...
  • u013063153
  • u013063153
  • 2017-01-18 10:16:22
  • 1012

Spark & Livy

简介livy为Spark提供了REST接口,有如下特性: * 提供交互式shell * 批量提交 * 多用户使用用一个服务(用户模拟) * 可以从任何地方使用REST的方式提交 * 无需对代...
  • lsshlsw
  • lsshlsw
  • 2016-08-15 14:23:37
  • 7616

livy-0.4.0 部署版免编译

  • 2017年12月07日 16:59
  • 68.26MB
  • 下载

Livy - 基于Apache Spark之上的REST服务

  • 2017年03月30日 16:55
  • 1.13MB
  • 下载

Livy:基于Apache Spark的REST服务

原文:http://geek.csdn.net/news/detail/208943 Apache Spark提供的两种基于命令行的处理交互方式虽然足够灵活,但在企业应用中面临诸如部署、安全等问题...
  • u013063153
  • u013063153
  • 2017-07-03 09:44:47
  • 1601

Zeppelin 和livy结合实现代理用户中如何代理ldap邮箱用户

一.需求 很多做数据分析的同事日常工作即使利用spark操作数据做一些聚合分析等等再写出数据作可视化等等. 而现在大热的zeppelin则可以完成丛数据抽取处理到展示的一条龙服务,但是由于zeppli...
  • qwemicheal
  • qwemicheal
  • 2017-04-20 22:18:42
  • 889
收藏助手
不良信息举报
您举报文章:livy源码阅读
举报原因:
原因补充:

(最多只允许输入30个字)