大数据搭建心得

Wzideng

已于 2023-04-01 13:07:27 修改

阅读量90

点赞数

文章标签：大数据 log4j

于 2023-04-01 12:45:28 首次发布

wzideng所有，如有需求，请联系=>>Wzideng@qq.com

本文链接：https://blog.csdn.net/weixin_43554580/article/details/129895524

版权

作者在尝试使用嵌套module的Maven配置时遇到错误，发现该方法不适用于其Hadoop项目。通过调整pom.xml文件，包括依赖管理和构建插件，解决了问题。此外，还涉及了log4j的日志配置。文章强调了避免使用复杂模块结构并确保正确配置Maven的重要性。

摘要由CSDN通过智能技术生成

之间就尝试过很多次，最近开始迷恋上写博客，分享自己的学习历程，接下来就分享一下自己搭建这个hadoop，配置pom.xml文件的心得

首先是目前的错误情况：

在这里插入图片描述

主要报错原因，是这个pom.xml，因为我之前采用了嵌套module的方法，想着一个大module里面套很多的小module，然后共用一下大的xml文件，发现这样好像是行不通的，所以大家以后可以吸取这个经验。

进行改正

一、pom.xml文件内容

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>BigData</artifactId>
        <groupId>com.atguigu</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>Hadoop</artifactId>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>


    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>compile</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.6.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>


</project>

在这里插入图片描述
里面会显示红色，不过没关系

二、log4j日志文件

在这里插入图片描述

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n