在windows下开发MR时，提交运行时，出现java.net.UnknownHostException：XXX异常

最新推荐文章于 2024-08-19 23:01:58 发布

计算机之wind

最新推荐文章于 2024-08-19 23:01:58 发布

阅读量3k

点赞数

文章标签： hdfs

本文链接：https://blog.csdn.net/u011777164/article/details/74560708

版权

在Windows环境下使用Eclipse开发MapReduce（MR）程序时，配置Hadoop环境至关重要。确保引入正确jar包并拷贝core-site.xml，其中fs.defaultFS属性需设置为hdfs://master:9000以访问HDFS。若遇到java.net.UnknownHostException异常，需编辑hosts文件，添加集群节点的IP映射，例如：192.168.8.117 master, 192.168.8.118 slave1, 192.168.8.119 slave2，以解决名称解析问题。" 83416263,8164650,Spring Boot集成UidGenerator：全局唯一ID生成实践,"['Spring Boot', '编程开发', '数据库', '微服务']

摘要由CSDN通过智能技术生成

在eclipse编写mr时，需要配置hadoop环境，需要引入必要的jar包外，还需要拷贝一个配置文件，一个是core-site.xml文件即可，这个core-site.xml可以直接从hadoop安装目录里拷贝，但是这两个属性很关键：

<property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
   </property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>d:/data1/hadoop/tmp</value>
</property>

其中第一个属性，描述了文件系统目录地址，如果将fs.defaultFS的value值改为file:///，那么只能读写本地磁盘上的文件；只有将value值写成hadoop集群上主节点的地址，才能读写hdfs文件系统；

第二个属性：描述了mr程序运行时产生的日志目录

现在说说出现上述异常的解决方法：