CentOs7搭建hadoop集群（伪分布式）下

最新推荐文章于 2022-04-22 11:40:29 发布

free97zl

最新推荐文章于 2022-04-22 11:40:29 发布

阅读量310

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/free97zl/article/details/78816407

版权

大数据专栏收录该内容

10 篇文章 0 订阅

订阅专栏

    在yarn-site.xml新增
    `
    <property>                  
        <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>     
        </property>
    `
    开启服务：`start-yarn.sh`
    查看java进程：jps，出现以下即成功
    `11750 ResourceManager
    11854 NodeManager`
检测：http://169.254.214.10:8088

hdfs shell

mkdir:创建目录：
    hadoop fs -mkdir -p /user/hadoop    
    hadoop fs -mkdir input  
mv：移动
rm：删除
    hadoop fs -rm -r output1(移除）
put：上传
    hadoop fs -put README.txt .
    hadoop fs -put *.xml ./input

get:下载
    hadoop fs -get output1/* 

cat text:看
    cat part-r-00000                                 :查看本地
    hadoop fs -text /user/hadoop/output1/part-r-00000   :查看hadoop集群上
    hadoop jar hadoop-mapreduce-examples-2.9.0.jar wordcount input output1 统计单词出现的次数并打包发送到output1目录里