log4j.properties配置(hadoop编程使用）

于 2024-07-26 09:27:23 发布
阅读量22 收藏
点赞数 1
分类专栏： Hadoop 文章标签： log4j hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taogumo/article/details/140706666
版权

在resources资源文件夹下创建log4j.properties

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

数智侠
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
修改log4j.properties文件——输出日志到指定路径的总结
进阶的博客
05-25 6622
一、log4j.properties是什么 简单说就是一个日志的配置文件，其中包含了与日志相关的各种配置信息，修改的话需要管理员权限。 在我的Ubuntu虚拟机中的位置：/usr/local/spark-2.3.0-bin-hadoop2.7/conf/log4j.properties（这个是我在做spark实验的时候使用的路径，这样看来不同的环境log4j的位置还不一样嘞……） 注：写这篇...
Hadoop(4-3) log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
weixin_38735917的博客
10-11 379
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Hadoop 3.x|第八天|WordCount案例解析
z754916067的博客
04-11 4191
目录需求分析操作过程MapperReducerDriver 需求分析 用处：在给定的文本文件中统计输出每一个单词出现的总次数 操作：按照MapReduce编程规范，分别编写Mapper，Reducer，Driver 操作过程 Mapper 将MapTask传给我们的文本 根据空格将这一行切分成单词 将单词输出为<单词，1> Reducer 汇总各个key的个数 输出该key的总次数 Driver 获取配置信息，获取job对象实例 关联Mapper/Reducer业务类 指定Mapper
spark如何自定义log4j配置 及 yarn的应用日志存储
penriver的博客
04-25 1989
在实际工作中，需要针对spark任务的日志输出进行自定义。 1. 相关知识 1.1 spark 日志介绍 以spark2.4.x为例，spark中提供了log4j的方式记录日志，目前使用的版本是log4j-1.2.17，基于properties方式配置 可以在$SPARK_HOME/conf/下，将log4j.properties.template文件copy为log4j.properties来启用log4j配置。但这个配置为全局配置，不能单独配置某个job的运行日志。 在Spark的co...
031 Log4j日志框架
小哥哥咯的博客
06-18 328
MapReduce使用Log4j2 + Slf4j输出日志示例
Hadoop3.x 之 MapReduce 概述 (月薪过万 第九章上)
小坏说后端
07-19 348
Hadoop3.x 之 HDFS 概述一、MapReduce 概述1、MapReduce 定义 一、MapReduce 概述 1、MapReduce 定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 ...
Apache Hadoop3.x 分布式集群配置安装
m0_52319305的博客
04-18 2543
前提说明 因为本人在学习Hadoop的时候，因为web端的yarn的resourcemanager无法连接，在试完网上那些解决方法后发现又把自己web端的HDFS给搞得连接不上了。 > 1. 主机可以ping各节点 > 2. 虚拟机可以ping外网 > 3. 防火墙以关闭 > 4. 配置也没错 最最重要的是我特么忘记保存快照了！ 所以，特此借此机会再配置一次Hadoop分布式集群再熟悉熟悉，并把这篇文章当作笔记使用。...
hadoop（HDFS） Commons-logging Log4j
wyq393562305的专栏
07-22 622
转自：  http://touch.iteye.com/blog/31632
使用Hadoop 的 Java API 操纵 HDFS 文件系统
天析的博客
04-19 3990
出现该报错时需要你引入 winutils 支持，winutil.exe 主要用于模拟linux下的目录环境，你可以在互联网上寻找该配置教程，如果你不想麻烦，也可以选择通过 API 读取文件内容然后在使用 Java 的文件相关API方法将文件流作为文件写入系统。引入依赖完成后如下图所示，但因为版本问题存在相对较多的安全的漏洞提示，鼠标放在上方即可显示相关的CVE漏洞编号，但我们仅仅只是学习用途，该问题我们直接忽略。此处仅提供完整样例代码不在提供运行截图，样例代码已经过验证。// 写入文件内容到输出流。
大数据实验四-MapReduce编程实践
04-03
一．实验内容 MapReduce编程实践： 使用MapReduce实现多个文本文件中WordCount词频统计功能，实验编写Map处理逻辑、编写Reduce处理逻辑、...（3）编写log4j.properties文件： （4）引入需要用到的依赖： 。。。。。。
教你如何查看API及使用hadoop新api编程
07-31
PropertyConfigurator.configure("conf/log4j.properties"); logger = Logger.getLogger(BookCount.class); logger.info("BookCount starting"); System.setProperty("HADOOP_USER_NAME", "hduser"); JobConf ...
Javaweb课程作业基于Hadoop的中文词频统计工具源码+使用说明.zip
12-28
5、将Linux里配置好的hadoop的配置文件目录里的log4j.properties和core-site.xml复制到项目根目录（IDEA的maven项目的话是放到resources目录里，下同） 6、往HDFS里/user/joe/wordcount/input传要统计的文件（不要...
Hadoop本地调试NativeIO
04-27
6. **日志分析**：描述中提到的`log4j.properties`文件用于配置日志系统。通过调整日志级别和输出格式，可以获取更详细的调试信息，帮助定位问题所在。 7. **问题排查**：常见的问题可能包括依赖库版本不兼容、编译...
java中log4j.properties配置文件浅析
ldcaws的专栏
07-22 423
Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可按key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。
Hadoop-HDFS
weixin_42029860的博客
07-22 353
Hadoop的HDFS（Hadoop Distributed File System）是一个分布式文件系统，它被设计用来在普通的硬件上运行，并且提供高吞吐量访问应用程序数据的能力。
Hadoop、HDFS、MapReduce 大数据解决方案
简简单单Onlinezuozuo
07-22 545
Hadoop、HDFS、MapReduce 大数据解决方案Hadoop、HDFS、MapReduce 大数据解决方案Hadoop、HDFS、MapReduce 大数据解决方案。
物联网架构之Hadoop
最新发布
weixin_71499831的博客
07-23 829
resourcemanager、nodemanager的通信端口，web端口等信息。实现了对文本中的单词计数的功能，并要求输出结果并按单词首字母排序。名称节点和数据节点的存放位置，文件副本数和读取权限。备注：Mapreduce作业记录的web地址和端口。4：将file1和file2拷贝到hdfs存储目录中。备注：定义hdfs的uri，以及hdfs的临时目录。10：将hadoop目录拷贝到其他节点上。3：启动hadoop并 创建hdfs目录。注意：输出目录不能已存在，否则不会输出。1：创建测试文件的目录。
WARNING log4j.properties is not found. HADOOP_CONF_DIR may be incomplete
05-25
这个警告信息通常发生在使用 Hadoop 环境中，因为 Hadoop 使用 log4j 来进行日志记录，并需要加载 log4j.properties 文件。如果该文件不存在，就会出现这个警告信息。 解决方法是在 Hadoop 的配置目录中添加 log4j.properties 文件。具体的操作步骤如下： 1. 找到 Hadoop 的配置目录，通常在 $HADOOP_HOME/etc/hadoop/ 目录下。 2. 在该目录下创建 log4j.properties 文件。 3. 编辑 log4j.properties 文件，添加以下内容： ``` log4j.rootLogger=DEBUG, stdout # Console output... log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n ``` 4. 保存 log4j.properties 文件。 这样就可以解决该警告信息了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数智侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值