hadoop 伪分布式搭建

最新推荐文章于 2024-07-14 10:20:05 发布

豆腐单

最新推荐文章于 2024-07-14 10:20:05 发布

阅读量282

点赞数 1

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/xu511739113/article/details/74938422

版权

hadoop 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

hadoop 伪分布式搭建

将 linux自带的open jdk 卸载安装 oracle jdk，并配置环境变量

$ vi /etc/profile

#JAVA_HOME
export JAVA_HOEM=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOEM/bin

将hadoop中英文文档删除

rm -rf doc/

指定hadoop文件的 java变量

修改  hadoop-env.sh  mapred  yarn 这三个配置文件
export JAVA_HOME=/opt/modules/jdk1.7.0_67

配置完毕之后 使用 修改完毕之后 使用 bin/hadoop 查看是否生效

设置hdfs配置

 1 配置 core-site.xml 
    <!-- 指定文件系统及namenode所在机器端口 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1.zx.com:8020</value>
    </property>

    <!-- 指定临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value></value>
    </property>
 2 配置 hdfs-site.xml
    <!-- 副本数 默认为3 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
 3 配置 slaves
    指定从节点位置  slaves 包括datanode和nodemanager
 4 格式化namenode，对于元数据进行初始化，否则无法读取元数据
     bin/hdfs namenode -formart
     当初始化完毕之后，会在tmp目录下面生成元数据文件，
    当hadoop启动的时候，会加载元文件中的fsimage_0000000000000000000
 5 启动hadoop
    sbin/hadoop-daemon.sh start namenode
    sbin/hadoop-daemon.sh start datanode
    HDFS外部管理界面端口号默认：50070

配置MapReduce

1.配置    mapred-site.xml
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
2.配置  yarn-site.xml
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
3.启动 yarn
    sbin/yarn-daemon.sh start resourcemanager
    sbin/yarn-daemon.sh start nodemanager
    yarn外部管理界面端口号默认：8088