hadoop环境配置在eclipse上配置的总结

最新推荐文章于 2023-03-03 16:32:01 发布

gongrui_59

最新推荐文章于 2023-03-03 16:32:01 发布

阅读量569

点赞数

分类专栏： hadoop学习文章标签： hadoop eclipse 环境配置

本文链接：https://blog.csdn.net/gongrui_59/article/details/74906098

版权

本文总结了在Eclipse上配置Hadoop环境的过程，包括设置环境变量、配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件，以及在slaves和hosts文件中的配置。文章强调了防火墙关闭、主机从机间通信的检查和Hadoop服务的启动流程。此外，还介绍了如何在Eclipse中添加Hadoop远程支持，以便进行开发和测试。

摘要由CSDN通过智能技术生成

这几天配置hadoop以及启动的一些问题的总结。。。。

    首先配置！！！
    hadoop配置文件所在地： $HADOOP_HOME/etc/hadoop/
    解压hadoop2.7.3 jar包和 jdk1.8.0 的jar包配置环境变量 ~/.profile 文件下
    export JAVA_HOME="/mysoftware/jdk1.8.0_101"
    export HADOOP_HOME="/mysoftware/hadoop-2.7.3"

    设置java环境 hadoop-env.sh
    export JAVE_HOME=/mysoftware/jdk1.8.0_101

    接下来配置core-site.xml
    <configuration>
    //外部访问hadoop文件系统的URL
    <property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>   
        </property>

    //hadoop产生临时文件所存放的位置
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/mysoftware/hadoop-2.7.3/tmp<