hadoop打成jar包放到服务器上运行问题集

最新推荐文章于 2023-06-28 16:25:29 发布

波波哥1986

最新推荐文章于 2023-06-28 16:25:29 发布

阅读量3.3k

点赞数

分类专栏： hadoop 文章标签： hadoop 服务器 mysql scheme

本文链接：https://blog.csdn.net/hi_box/article/details/40588633

版权

本文介绍了如何将本地Hadoop MapReduce任务打包为JAR，并在远程服务器上运行时解决遇到的问题，特别是针对需要密码访问本地MySQL服务器的情况。通过创建特定用户并授予权限，可以成功解决连接问题。

摘要由CSDN通过智能技术生成

有时候需要在某台服务器上运行本地的mapreduce任务,可以这样设置:

conf.set("fs.default.name", "local")
conf.set("mapred.job.tracker", "local")

###########################################################################################

打成jar包在服务器上执行时遇到

Exception in thread "main" java.io.IOException: No FileSystem for scheme: file
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2385)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2392)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2431)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2413)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:167)
    at com.yunsuan.gaoyuan.recom.CreateTfidfJob.getFileIndex(CreateTfidfJob.java:143)
    at com.yunsuan.gaoyuan.recom.CreateTfidfJob.run(CreateTfidfJob.java:74)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
    at com.yunsuan.gaoyuan.recom.CreateTfidfJob.main(CreateTfidfJob.java:4