我是怎么在Spark中踩到Jetty的坑的

最新推荐文章于 2023-08-02 09:11:40 发布
最新推荐文章于 2023-08-02 09:11:40 发布
阅读量3.6k 收藏
点赞数
分类专栏： Spark 大数据畅谈 文章标签： spark apache github jetty web
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asongoficeandfire/article/details/53180375
版权
在Spark HistoryServer中，通过替换过滤器导致应用无法启动，报错“TimerTask is scheduled already”。经过排查，问题源于Jetty在处理过滤器时的初始化逻辑。解决方案包括避免使用同一个FilterHolder对象，以及关注Jetty源码修复的issue。最终通过临时措施规避问题，等待Jetty官方修复。
摘要由CSDN通过智能技术生成

前言

大家知道Spark有一个HistoryServer可以用来查看event log，即在app运行完成后仍然可以查看它的统计信息等，便于事后分析。我司做的产品化的Spark中，对于web页面均有一定的安全要求，例如说必须通过https访问，且禁止一些不安全的协议和算法（例如SSLv3等）。

另外一点，还基于web的filter机制做了简单的cas认证，即访问HistoryServer的用户必须先跳转到cas server进行认证，认证通过后才可以继续访问。

之前的方案是基于SAML filter做的方案，HistoryServer这边只需要作为cas server的客户单，增加两个SAML的filter(Saml11AuthenticationFilter/Saml11TicketValidationFilter)并添加一些和服务端相对应的参数就可以了（关于SAML/SSO的相关知识可以参考这里）。这几天突然说要升级，基于cas20来做，即将SAML的filter替换成

最低0.47元/天 解锁文章
狗叔
关注
专栏目录
【漏洞复现】Apache Spark 未授权访问漏洞
做自己喜欢的事，并将其发挥到极致！
08-31 4310
Apache Spark 未授权访问漏洞，详情请点击内容进入......
Spark Netty与Jetty （源码阅读十一）
weixin_34007886的博客
12-08 240
　　spark呢，对Netty API又做了一层封装，那么Netty是什么呢~是个鬼。它基于NIO的服务端客户端框架，具体不再说了，下面开始。 　　创建了一个线程工厂，生成的线程都给定一个前缀名。 　　 　　像一般的netty框架一样，创建Netty的EventLoopGroup: 　　 　　在常用的netty框架中呢，会创建客户端辅助类，设置SocketChannel： Bootstrap ...
sparkWeb配置账号密码
最新发布
互联网知识分享
08-02 520
指定是否开启的身份验证，默认值为false。：指定是否使用反向代理，默认值为false。：指定用于生成身份验证令牌的密钥。：指定包含密钥的文件路径。：可选参数，指定反向代理的URL前缀。：可选参数，指定信任的代理服务器。
异常处理：jetty启动无法访问主页
刘学文的博客
02-22 1909
快学Big Data -- Spark 总结（二十三)
知识的力量
09-04 504
Spark总结 Spark 集中运行的模式   概述 Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能...
Hadoop生态漏洞修复记录
manweizhizhuxia的博客
03-28 3245
Hadoop、zookeeper、hive漏洞修复
java 在Jetty9中使用HttpSessionListener和Filter
08-30
Java 在 Jetty9 中使用 HttpSessionListener 和 Filter Java 在 Jetty9 中使用 HttpSessionListener 和 Filter 是一种常见的技术，用于监听和过滤 HTTP 请求。在这篇文章中，我们将详细介绍如何在 Jetty9 中使用 ...
在项目中集成jetty server步骤解析
08-25
基于 Jetty 服务器在项目中的集成步骤解析 在项目中集成 Jetty 服务器是一种常见的做法，Jetty 服务器是一个基于 Java 的开源的网络服务器和 Servlet 容器，它可以帮助开发者快速构建高效的 Web 应用程序。下面我们...
jetty9.4.11+jetty在idea上的配置教程
05-30
在本文中，我们将深入探讨如何在IntelliJ IDEA（简称IDEA）这个流行的Java集成开发环境中配置Jetty 9.4.11版本。首先，我们需要解决Jetty资源下载慢的问题，然后详细介绍在IDEA中配置Jetty的步骤。 **解决Jetty资源...
在项目中直接启动jetty，发布自己
04-20
标题“在项目中直接启动Jetty，发布自己”暗示了我们将在讨论如何在Java开发环境中使用Jetty服务器来运行和部署个人项目。Jetty是一个轻量级、高性能的开源HTTP服务器和Servlet容器，广泛用于快速原型开发、测试以及...
SPARK异常解决（长期更新...）
果果的爸爸
02-02 4527
SPARK异常解决（长期更新...） 异常一  FAILED SelectChannelConnector@0.0.0.0:4040: java.net.BindException: Address already in use: bind java.net.BindException: Address already in use: bind
spark 2.X 疑难问题汇总
热门推荐
简单就好
12-29 3万+
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/im
spark提交任务端口占用异常
xubc的大数据笔记
05-05 9468
当在同一台机器上提交多个spark任务时 并且是以client的方式提交，会报端口占用错误 17/05/05 15:51:07 WARN AbstractLifeCycle: FAILED org.spark-project.jetty.server.Server@3c8bdd5b: java.net.BindException: Address already in use java.net.
由jetty6升级为jetty9后，出现的问题
xyr05288的专栏
09-05 2429
  由jetty6升级为jetty9后，出现的问题： 1.升级jetty9 运行出现两个RequestMappingHandlerAdapter bean org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean 'org.springframework.web.servlet...
附录C Jetty与JettyUtils
beliefer的博客
02-04 2822
注：本文是为了配合《Spark内核设计的艺术 架构设计与实现》一书的内容而编写，目的是为了节省成本、方便读者查阅。书中附录C的内容都在本文呈现。Jetty简介 Jetty是一个开源的，以Java作为开发语言的servlet容器。它的API以一组JAR包的形式发布。Jetty容器可以实例化成一个对象，因而迅速为一些独立运行的Java应用提供网络和web服务。要为Jetty创建servlet，就涉及S...
spark上部署微服务
yjl33的专栏
06-28 1794
spark的安装部署就不详细介绍了 详见http://blog.csdn.net/zwx19921215/article/details/41821147 1，编写测试类package com.yjl; import spark.Spark; public class SparkInterface { public static void main(String[] args) {
jetty启动的两种方式: standalone启动和scala程序内嵌启动
踏莎行的博客
10-17 2152
jetty(官网:http://www.eclipse.org/jetty/)是一个轻量级的web server容器,可以单独启动,也可以嵌入到scala/java中用代码进行启动,从而方便继承到已有的业务逻辑中去standalone方式下载jetty distribution 进入根目录,执行启动命令 > cd demo-base/ > java -jar ../start.jar在浏览器中访
linux 启动spark-shell,本地启动spark-shell
weixin_29266749的博客
05-13 891
由于spark-1.3作为一个里程碑式的发布, 加入众多的功能特性,所以,有必要好好的研究一把,spark-1.3需要scala-2.10.x的版本支持,而系统上默认的scala的版本为2.9,需要进行升级, 可以参考Ubuntu 安装 2.10.x版本的scala，见 http://www.linuxidc.com/Linux/2015-04/116455.htm. 配置好scala的环境后,...
基于Docker搭建单机版Mesos/Marathon
JL-LOVE
12-18 534
摘要: 本文介绍了基于Docker搭建单机版Mesos/Marathon的方法，Mesos/Marathon的所有组件均运行于单个容器中。 GitHub地址: kiwenlau/single-mesos-docker 一. 简介 Mesos是集群资源管理系统，Marathon是运行在Mesos之上的集群计算架构。将Mesos和Marathon打包到Docker镜像中，开发者便可以在本机上快速搭建M...
Jetty SSLEngine 6.1.26中文API文档详解
在此次提供的资源中，包含了Jetty-sslengine的API文档、jar包、源代码以及Maven依赖信息文件，具体版本为6.1.26。该版本的SSL引擎组件为处理SSL/TLS协议提供了支持。 标题所指的API文档是关于Jetty SSL引擎功能的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值