Hadoop实例学习(五)打jar包

---

添加pom.xml依赖

在之前写好的wordcount的maven项目下添加依赖

    <!--打包所需的依赖-->
    <build>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.3</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <artifactId>maven-assembly-plugin </artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <!--此处要换成自己java文件夹下包的名字-->
                            <mainClass>mapper</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

开始打包

打开右侧的maven工具,打开Lifecycle下的package会自动进行打包

打好的jar包可以在target文件夹下看见

到此jar包就打包完毕

上传至hadoop集群并运行

改名并上传

由于打好的包名不够贴切生活,所以我们对其进行改名
打好的包可以在本地创建好的maven项目下找到

我将其改成了wordcount

上传至Hadoop中

在linux中输入rz上传文件命令,选中jar包点击add添加文件然后点击ok就行

上传好的jar包:

测试jar包

数据的路径得记得,后面运行jar得写路径
我的txt文件路径为/input

文件内容为:

在上传的jar包文件夹下输入hadoop jar wordcount.jar mapper.WcDriver /input /output

!!!其中mapper.WcDriver为该包下的主类

运行成功后的结果