Java连接Livy获取session报错 code 400

最新推荐文章于 2021-03-17 17:16:37 发布
最新推荐文章于 2021-03-17 17:16:37 发布
阅读量530 收藏
点赞数
分类专栏： Spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RONE321/article/details/96489127
版权

参数如果这样写肯定会报400错误了

HttpEntity<String> entity = new HttpEntity<String>("{'kind': 'spark'}",headers);

参数传递要改成这样

HttpEntity<String> entity = new HttpEntity<String>("{\"kind\": \"spark\"}",headers);

等我回头写个全的~~~~~~~~~~~

  • 获取session
  • 提交code
  • 读取结果
本地pycharm 连接远程环境，运行livy连接spark报错:HTTP ERROR: 401 Problem accessing /batches. Reason: Authentication
qq_43392533的博客
04-14 570
本地pycharm 连接远程环境，运行livy连接spark报错:HTTP ERROR: 401 Problem accessing /batches. Reason: Authentication required 同样的环境和代码在服务器直接执行时，运行没有问题。但是通过本地pycharm连接服务器执行时，报错401。百思不得其解。 还好大佬一顿操作猛如虎，在pycharm运行远程ssh命令行环境，发现默认是登录是root目录，非我自己的用户目录. [root@data-1 ~]# klist kli
livy java API解读
星翔宇尘的博客
03-22 3183
Interface Job&lt;T&gt; extends Serializable :用于Spark远程（remote）作业的接口方法详情： T call(JobContext jc)Interface JobContext :保存一个job执行时的信息，这个类的水利保存在host远程Spark Context的节点上并且通过RemoteSparkContext#submit()提交执行的jo...
spark_livy_java_rest_api:在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业
04-16
spark_livy_java_rest_api 在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业 mvn exec：java -Dexec.mainClass =“ o9.sparklivy.poc.SparkYarnRestClient” mvn clean编译程序集：单个 java -cp target / spark_livy_api-1.0-SNAPSHOT-jar-with-dependencies.jar o9.sparklivy.poc.SparkYarnRestClient
Livy设置Session生命周期
Why Do You Run
09-03 2690
为什么要更改Livy的Session生命周期？ 使用LivyREST接口提交SparkJob时，任务执行成功后，过段时间Session和Job or Bathes的ID则会被清空，导致Spark任务的执行结果可能会查询不到，所以需要更改一下Livy的生命周期。 首先如果是在CDH环境下，则只需要在Livy的WebUI界面更新一下配置文件。 添加livy.server.session.timeout...
Java链接livy服务 使用HttpClient连接
qq_43034494的博客
05-14 1331
处理livy服务 package com.cosmosource.core.utils; import com.cosmosource.model.mxgraph.JsonObject; import com.google.gson.JsonArray; import io.swagger.models.auth.In; import net.sf.json.JSONArray; import o...
Java+selenium3 grid 搭建分布式时出现创建session失败
qq_26900141的博客
04-03 604
本地启动一个hub和一个node java -jar selenium-server-standalone-3.14.0.jar -role hub -hubConfig hub.json java -jar selenium-server-standalone-3.14.0.jar -role node -nodeConfig node.json json文件如下： hub.json: { ...
spark系列-应用篇之通过livy提交Spark任务
马各马它
08-24 1万+
前言 上一篇使用yarn api的提交spark任务比较麻烦， 这次我们使用livy来提交spark任务。livy的使用十分简单，功能上比yarn api还要强大，支持提交spark代码片断，session共享 安装 下载livy0.5.0，下载完成后进行解压。 配置conf/livy.conf文件，设置livy.spark.master = yarn。其他的配置项目，可以根据你的需要来配...
java 创建Apache livy的session
最新发布
04-07
好的，关于Java创建Apache Livy的Session，您可以参考以下步骤： 1. 在pom.xml文件中添加以下依赖： ``` <groupId>org.apache.livy <artifactId>livy-api <version>0.7.0-incubating ``` 2. 创建LivyClient...
spark livy session使用一
文报的博客
12-03 1277
python调用livy session restfulAPI demo: import json import re import sys import textwrap import time import requests def extract_table_name_from_sql(sql_str): # remove the /* */ comments q = re.sub(r"/\*[^*]*\*+(?:[^*/][^*]*\*+)*/", "", sql_str)
Livy - 基于Apache Spark之上的REST服务
03-30
Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
Livy原理详解
weixin_30721899的博客
02-12 528
概述 当前spark上的管控平台有spark job server，zeppelin，由于spark job server和zeppelin都存在一些缺陷，比如spark job server不支持提交sql，zeppelin不支持jar包方式提交，并且它们都不支持yarn cluster模式，只能以client的模式运行，这会严重影响扩展性。针对这些问题，cloudera研发了Livy，L...
livy简介
asfjgvajfghaklsbf的博客
02-16 1万+
livy简介 什么是livy Livy通过提供REST服务来简化与Spark集群的交互。它可以通过job或者代码片段的方式来提交Spark任务，并同步或者异步地获得任务的结果，以及管理spark context，上述功能通过简单的REST接口或者RPC服务来实现。livy也可以简化Spark与一些应用程序之间的交互，使得Spark可以用于一些web应用(比如Hue)。更多的功能包括： 拥有长...
LIVY安装部署（已实战，真实有效）
weixin_51485976的博客
11-20 1898
livy下载地址：http://mirror.bit.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip [root@cdh04 ~]# mkdir /usr/livy [root@cdh04 ~]# mkdir /var/log/livy [root@cdh04 ~]# mkdir /var/run/livy [root@cdh04 ~]# chown hdfs /var/log/livy [root@cd
Apach Zeppelin和Apach Livy搭配使用配置
qwemicheal的博客
05-17 5044
Zeppelin搭配Livy 使用spark和sparksql查询hive的相关配置说明，遇到的坑及解决方案。
livy安装文档
风雨落
04-23 5285
1、下载Livy(可以自己下载源代码进行编译) http://livy.incubator.apache.org/download/ 源代码在git 上能够找到apache 版本和cloudera 两个版本 https://github.com/cloudera/livy 有比较详细的说明文档。 2、将livy的压缩包放到Linux 主机...
Hue兼容Livy通过Rest请求向Spark发送任务
手提青灯觅佳人的博客
03-17 178
Hue兼容Livy通过Rest请求向Spark发送任务 参考hue官方文档 https://gethue.com/how-to-use-the-livy-spark-rest-job-server-for-interactive-spark-2-2/ 环境准备 必须安装JDK 必须安装HADOOP 必须安装Spark 安装过程 下载 wget http://archive.cloudera.com/beta/livy/livy-server-0.3.0.zip 解压 unzip ./livy-serve
Process finished with exit code 1 解决方法汇总
热门推荐
qq_35590566的博客
08-05 15万+
在idea启动项目的时候，有时会碰到Process finished with exit code 1 的情况，这里笔者总结了几种场景和对应的解决方法，以供大家参考。 情景一：logback-spring.xml 版本冲突，或者logback-spring.xml 文件的格式错误导致。 解决方法：仔细检查文件里的格式，去掉冲突的依赖版本 情景二：yml配置文件，pom文件里有错误，可能是错字或者其他。 解决方法：仔细检查文件里的内容，保证格式和内容正确。 情景四：连接时间设置的太短，项目没
解决shiro升级1.6后url拼接；jsession引发400问题
bgxabc的博客
01-22 1609
在shiro.xml文件中添加配置 配置解析 1、添加 sessionManager bean <bean id="sessionManager" class="org.apache.shiro.web.session.mgt.DefaultWebSessionManager"> <!-- 去掉url ;jsessionid= --> <propert...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值