建建的博客

hadoop启动后用jps查看slave1显示有nodemanager等一下再看 就没有改进程查看日志显示如下：java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with

Hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多的小的工作单元（块），并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出得、运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。　　在分布式存储和分布式计算方面，Hadoo...

hadoop集群centos安装及网络配置– 虚拟机安装以在之前出过博客 点击链接– 以及网络配置 点击链接jdk安装– jdk环境安装会单独出一篇博客hadoop安装– hadoop单独出一片博客修改hosts文件vi /etc/hosts#添加以上字段 前面为ip地址 后面为hostname(方便记忆)克隆虚拟机并修改各自ip地址修改hostname vi /etc/hostname # 修改为相应的hostname # 比如hadoop151...