Idea 远程调试Livy Server

最新推荐文章于 2023-05-09 20:16:50 发布
最新推荐文章于 2023-05-09 20:16:50 发布
阅读量339 收藏
点赞数
分类专栏： 大数据 文章标签： LivyServer 远程调试 IDEA Java选项 配置实践
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacksonking/article/details/116800600
版权

Idea 远程调试Livy Server

LivyServer配置

修改conf/livy-env.sh添加LIVY_SERVER_JAVA_OPTS

LIVY_SERVER_JAVA_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=57777"

IDEA配置

  1. 创建remote连接
  2. 填写host和port，idea自动生成（-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=57777）

如下图：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

RunningShare
关注
专栏目录
Livy任务提交源码解析
qq_27639777的博客
06-01 1145
文章目录简介任务路由代码断任务远程Driver上建立RpcServerLivyServer接收客户端提交代码断任务LivyServer向远程Driver的RpcServer提交任务远程Driver的RpcServer接收任务Driver执行代码断任务Batch任务LivyServer接收batch任务创建BatchSession以提交Spark任务创建SparkYarnApp实例以操作远程Spark任务 简介 Livy是基于Spark的开源REST服务，它能够通过REST的方式将代码段或是序列化的二进制代码
Spark Livy 指南及livy部署访问实践
pop_xiaohao的专栏
05-05 3560
背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。 这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点
安装live-server【踩坑】
Good_omen的博客
03-08 1141
安装live-server 没有webpack，所以，使用另外一种热部署方式：live-server。 安装前提：必须有nodejs和npm环境，同时配置好对应的环境变量。 直接使用：npm install -g live-server进行全局安装。 在运行live-server命令前，首先要将live-server.cmd对应的目录配置到path环境中。 配置完毕，使用live-server命令， ...
Livy - 基于Apache Spark之上的REST服务
03-30
Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
livy使用样例_快速入门_作业服务LivyServer_开发指南_Spark计算服务_云数据库 HBase - 阿里云...
weixin_42363377的博客
12-24 280
上传作业jar包及python等文件分析集群选择使用HttpFS服务来供用户上传管理作业的jar包、python文件等到服务端1、从分析集群控制台获取HttpFS服务地址，比如：HttpFS:http://ap-xxx-.9b78df04-b.rds.aliyuncs.com:140002、使用建议：目前可以使用Restful API或者命令行来管理这些资源。具体使用参考文档，下面以Restful...
IDEA中live-server : 无法加载文件 D:\node\live-server.ps1，因为在此系统上禁止运行脚本
weixin_45784919的博客
10-13 1640
idea中运行live-server出现如下: 无法加载脚本，使用管理员身份运行 PowerShell， 解决办法 以管理员运行powershell 然后输入 set-executionpolicy remotesigned 然后输入Y就可以了 再次运行liver-server就可以了 ...
Idea、WebStorm 中运行live-server无法加载文件，此系统上禁止运行脚本解决方案
summer-2018
05-17 1779
Idea、WebStorm 中运行live-server无法加载文件，此系统上禁止运行脚本解决方案 WebStorm、Idea中运行live-server出现这种情况 两种解决方案 1、方案一 （1）在win10系统中，以管理员运行powershell （2）输入 代码 set-executionpolicy remotesigned (3)再次输入 Y，问题就解决了 2、方案二 (1)在WebStorm 或者Idea工具中点击File—>Setting (3)选择Tools, 点击Term
win10系统phpstorm改用PowerShell终端
热门推荐
djl的专栏，blog.djl.cx好记
11-10 1万+
习惯了linux的命令行操作， windowns的cmd都不支持，现在好了win10的PowerShell支持了linux命令操作。 文件--》设置--》工具--》Terminal 将Shell path路径改为C:\WINDOWS\System32\WindowsPowerShell\v1.0\powershell.exe 保存后重启phpstorm，熟悉的linux命令就可以...
livy-server-0.3.0.zip
06-22
Livy为Spark添加了远程作业提交和交互式会话管理的功能，使得开发人员和数据科学家可以在不直接操作Spark集群的情况下使用Spark。 Livy的核心特性包括： 1. **RESTful API**：Livy通过HTTP提供了一套RESTful接口，...
incubator-livy:Apache livy的镜像（正在孵化）
05-14
阿帕奇·利维（Apache Livy） Apache Livy是一个开放源代码的REST接口，用于从任何地方与进行交互。 它支持在本地运行或在中运行的Spark上下文中执行代码片段或程序片段。 交互式Scala，Python和R Shell 使用...
apache-livy-0.7.1-incubating-bin.zip
12-09
最后，通过运行`bin/livy-server start`命令，即可启动Livy服务。 在使用Livy时，你可以通过发送HTTP POST请求到Livy的REST接口来提交Spark作业。例如，对于Python的Pandas DataFrame，可以将代码序列化为JSON，...
Livy安装&部署
呼呼的小窝
11-05 4056
官网 http://livy.incubator.apache.org/get-started/ Download [hadoop@hadoop001 software]$ wget http://mirrors.hust.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip [hadoop@hado...
livy使用样例_通过在Livy上提交批POST方法并跟踪作业来使用Airflow触发作业提交...
weixin_33597080的博客
12-24 173
I want to use Airflow for orchestration of jobs that includes running some pig scripts, shell scripts and spark jobs.Mainly on Spark jobs, I want to use Apache Livy but not sure whether it is good ide...
livy部署及应用
最新发布
lehsyh的专栏
05-09 1032
Livy把spark交互式和批处理都搬到了web上，提供restful接口，Livy一方面接收并解析客户端提交的REST请求，转换成相应的操作，另一方面它管理着客户端所启动的spark集群Livy会为用户运行多个session，每个session就是一个常驻的spark context也可以成为一个spark集群。用户通过restful接口在对应的spark context执行代码，Livy服务端通过RPC协议与Spark集群进行通信。
livy部署和使用
beiduofen2011的专栏
11-03 2216
部署 使用版本：apache-livy-0.7.1 环境：spark(配置中已添加hive-site.xml) , hive ,hadoop(hdfs+yarn) 基于centos livy只需要配置两个文件(livy-env.sh,livy.conf)： livy-env.sh 中添加环境变量配置 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_141 export HADOOP_HOME=/usr/local/jdk/azkabanWebServe...
live server的安装配置过程
前端开发小白9527
06-14 2003
一、在vscode扩展中搜索live server，并安装 二、打开命令面板，输入settings，点击首选项 三、搜索live sever配置项，将左侧需要修改的配置项复制到右侧用户设置并修改 四、设置完毕后，重启vscode，并选择需要浏览的文件，右键开启服务，就可以在浏览器中浏览网页啦 版权声明：本文为CSDN博主「zhouwei_doris」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.n..
LIVY安装部署（已实战，真实有效）
weixin_51485976的博客
11-20 1788
livy下载地址：http://mirror.bit.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip [root@cdh04 ~]# mkdir /usr/livy [root@cdh04 ~]# mkdir /var/log/livy [root@cdh04 ~]# mkdir /var/run/livy [root@cdh04 ~]# chown hdfs /var/log/livy [root@cd
sparklivy0.7.1的安装和使用
weixin_44632815的博客
08-16 339
sparklivy0.7.1的安装和使用 下载安装spark，hadoop； 下载安装sparklivy的bin-zip包： wget https://mirror.bit.edu.cn/apache/incubator/livy/0.7.0-incubating/apache-livy-0.7.0-incubating-bin.zip 配置解压目录下的conf下的livy.conf.template文件为livy.conf,添加配置： livy.server.host = ip livy.se
JAVA_OPTS参数说明与配置
rgq562248600的专栏
11-22 3002
最近手头的项目报内存溢出错误，内存溢出（Out Of Memofy）简称为传说中的OOM。^_^ 网上找资料学习了下JAVA_OPTS参数和配置，应用到生产环境，没有再报错。 错误信息：Java.lang.OutOfMemoryError: Java heap space 测试环境：RHEL5.4_x64 jdk-6u20-linux-x64.bin apache-tomcat-6.0.2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值