读取hdfs文件内容导入mysql（续）

最新推荐文章于 2023-03-03 20:10:36 发布

chenchenrao

最新推荐文章于 2023-03-03 20:10:36 发布

阅读量2.8k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/chenchenrao/article/details/44961007

版权

在尝试从HDFS读取文件内容并导入MySQL时遇到UnknownHostException，通过查阅资料并尝试配置解决了部分问题，但最终选择使用hadoop命令行工具执行读取任务，因Java类路径中的配置信息可能不全，故放弃直接使用Java代码解决。

摘要由CSDN通过智能技术生成

现在想单独的写个类实现读取hdfs文件内容导入mysql，也就是使用java api 来写main方法那种形式来实现。

Configuration conf = new Configuration(true);
conf.set("fs.default.name", "hdfs://<span style="font-family: Arial, Helvetica, sans-serif;">cluster2</span>");
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs = null;//

try {
    fs = FileSystem.get(conf);
} catch (Exception e) {
    LOG.error("getFileSystem failed :"  + e.getMessage());
}

但是上述内容会报错，java.net.UnknownHostException: hdfs://cluster2

至此，因为是hadoop yarn 2.2，所以根据 http://www.oschina.net/code/snippet_121248_34430 博文中的配置，增加了conf中的属性。

修正如下