spark-streaming 日志修改问题

最新推荐文章于 2022-06-21 16:27:06 发布
最新推荐文章于 2022-06-21 16:27:06 发布
阅读量443 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wode979982272/article/details/104424909
版权

在使用spark-streaming中需要修改到日志，百度到的答案大部分是通过

ssc.sparkContext.setLogLevel("DEBUG")

来修改日志级别 但是怎么尝试都不生效;我的工程中引入过storm的jar 最终通过追踪代码看到 

org.apache.logging.log4j.core.Logger 引用了storm-core-1.2.3.jar中的log4j2.xml配置文件

通过断点查看context对象可以看到实际引用;那么对应的要修改日志级别只要把log4j2.xml拷贝要工程的resources目录下，就可以正常修改日志级别了

 

土豆炒鸡块
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Spark设置日志级别的三种方式, Spark-sumbit设置日志级别,修改Spark本地conf设置日志级别, IDEA中设置日志级别 17
啊策策大数据社区
07-21 1万+
1. Spark设置日志级别 前言 Spark有多种方式设置日志级别,这次主要记录一下如何在Spark-submit设置Spark日志级别,本文介绍三种方式 需求 因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了，看起来比较乱，比较烦，抓不住重点，而我只想把warn和error打印...
SparkStreaming流式日志过滤与分析
05-30
记得自己要引入环境 （1）利用SparkStreaming从文件目录读入日志信息，日志内容包含： ”日志级别、函数名、日志内容“ 三个字段，字段之间以空格拆分。请看数据源的文件。 （2）对读入都日志信息流进行指定筛选出日志级别为error或warn的，并输出到外部MySQL中。 需要用到的函数 （1）输入采用textFileStream()算子 （2）输出采用foreachRDD()算子 （3）将RDD转为DataFrame （4）DataFrame注册为临时表，使用SQL过滤 （5）将过滤后的数据保存到MySQL
SparkStreaming设置日志级别
wdlily_com的博客
01-23 3522
代码中设置SparkStreaming的输出日志级别 val conf = new SparkConf().setAppName("Future").setMaster("local[2]") val ssc = new StreamingContext(conf, Seconds(5)) ssc.sparkContext.setLogLevel("WARN") ...
SparkStreaming-日志的等级的设置
窗外的屋檐
05-23 2027
我们在构建项目的时候日志等级设置是很有必要，日志太多太乱会直接影响我们的判读，SparkStreaming由于是流式处理日志会更加的多。 1、屏蔽系统日志 //请注意是apache.log4j不是org.slf4j import org.apache.log4j.{Level, Logger} // 屏蔽不必要的日志 ,在终端上显示需要的日志 Logger.getLogger("...
sparkstreaming日志切分配置
Jacob
04-02 1291
在Spark Standalone模式下，spark默认使用org/apache/spark/log4j-defaults.properties配置，所有的日志都记录在stderr里面，由于Spark Streaming应用程序是一直运行的，时间长了以后stderr文件会非常大，占用空间的同时难以让我们调试和定位问题，所以我们需要切分日志，spark原生提供了对Executor日志的切分，Driv...
升级 spark 2.4问题：Spark Streaming日志级别设置，最小堆内存设置
onway_goahead的博客
10-07 475
一、内存问题 1、旧集群 spark 1.6.1 jdk 1.7 或 1.8 jvm 堆内存分配，直接分配的为driver申请的内存（最大、最小堆内存相等） 2、新集群 spark 2.4.1 jdk 1.8 jvm 堆内存...
spark-streaming:Spark Streaming学习项目
04-09
单击+号，然后选择“ Application 选择您的Module和Main Class 打开VM Options然后复制/粘贴（并根据需要更改）： -Dlog4j.configuration=file:log4j.properties-Dlogfile.name=application-Dspark.yarn.app....
Spark 实践-基于 Spark Streaming 的实时日志分析系统+源代码+文档说明
12-28
1、资源内容：Spark 实践——基于 Spark Streaming 的实时日志分析系统+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功...
基于spark streaming日志设计+源代码+文档说明
03-26
- 不懂运行，下载完可以私聊问...3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
毕业设计：基于Spark streaming的系统日志分析系统.zip
最新发布
06-11
3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 该资源内项目源码是个人的课程设计，...
基于ELK Stack 和 Spark Streaming 的日志处理平台.docx
10-14
【基于ELK Stack 和 Spark Streaming的日志处理平台】 在大数据时代，日志处理变得至关重要，因为海量数据的生成需要高效、可靠且具有实时性的解决方案。ELK Stack（Elasticsearch, Logstash, Kibana）和Spark ...
升级 spark 2.3问题：Spark Streaming日志级别设置，最小堆内存设置
T_Janey
12-03 1450
一、内存问题     1、旧集群             spark 1.6.1             jdk 1.7 或 1.8             jvm 堆内存分配，直接分配的为driver申请的内存（最大、最小堆内存相等）     2、新集群             spark 2.3.             jdk 1.8             jvm 堆内存分...
20天学习Spark（5）之Streaming+kafka实现用户实时日志
洒家
04-30 467
一篇学会如何在生产环境下使用kafka+SpringBoot+sparkStreaming对用户日常行为进行大数据分析处理 注意：本文适用于已经掌握基础java框架想学习大数据的开发者 建议收藏，否则容易找不到 之前的文章中streaming处理的数据主要用于学习streaming的一些基础使用，在实际生产环境下还是需要使用专门的日志收集。 kafka&&zookeeper下载地址：https://download.csdn.net/download/lihao1107156171/18.
sparkstream重启+删除任务日志
窦永厚
06-21 241
sparkstream定时清除日志和重启
Spark定制班第28课：在集成开发环境中详解Spark Streaming的运行日志内幕
andyshar的博客
06-24 694
本期内容： 1. Spark Streaming日志 2. Spark Streaming在IDE中的日志分析  WordCountLine 15秒钟的时间间隔 日志中ForeachDStream先打印。 SocketInputDStream storage level false,false,false,false,1 但StorageLevel： remembe
SpringBoot设置恶心的日志(sparkstreaming和spark)
qq_18453581的博客
10-29 691
最新解决方法,简单好用:springboot设置 logging: level: org.apache: warn 叨逼叨: SpringBoot整合sparkstreaming,如果只打印info的日志我也就忍了,spark,netty,sparkstreaming的debug的日志,甚至心跳日志也丧心病狂的打印,然后就是疯狂刷日志,想看点有用的信息真的难,如果没有异常,我看...
在运行SparkStreaming程序时为了更好的看到结果，打印更少的日志文件
weixin_43866709的博客
04-07 1281
在运行SparkStreaming程序时，总是会产生很多的日志，这会影响到查看运行的结果，读取的数据准不准确。那么我们可以让他打印很少的日志内容。 解决办法就是在resources中添加一个文件（这里使用的是maven项目），文件中添加如下内容： log4j.properties Global logging configuration log4j.rootLogger=WARN, stdo...
linux上设置了log4j没有产生日志文件_Spark 通过 spark-submit 设置日志级别
weixin_39945178的博客
11-28 389
我的原创地址：https://dongkelun.com/2018/11/16/sparkSubmitLogLevel/​dongkelun.com前言Spark有多种方式设置日志级别，这次主要记录一下如何在spark-submit设置Spark的日志级别。1、需求因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多...
Spark日志级别设置
阿瞒的博客
06-06 6692
在运行spark程序的时候,有很多info的消息,一是看着很烦,而是让人找不到我们需要的结果,所以很有必要设置一下log的级别,在初学spark的时候,都是直接在sparkcontext.setloglevel,但是我发现并没有用,即使是在本地运行都没用,所以上网查了别的方法,发现很有用,就是重新创建一个log4j.properties文件,然后将其中的日志级别改为WARN,然后就可以了.具体的实...
spark-streaming_2.11
09-12
Spark Streaming是Spark项目中的一个流处理库，它基于Spark的RDD（弹性分布式数据集）模型，可以将实时流数据分割成一系列的小批量数据进行处理。 在Spark Streaming中，对DStream的转换操作会转变成对RDD的转换操作...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值