Hadoop笔记

Hadoop安装的大概流程:

    Hadoop基于java开发,所以必须先安装JDK,并配置JDK的环境变量

    Hadoop安装完成后,也必须配置Hadoop的环境变量

    Hadoop还必须对配置文件进行相应的更该.

        主要有:hadoop-env.sh  --更改JAVA_HOME路径
                    core-site.xml  --默认文件系统改为hdfs,hadoop的默认tmp目录
                    hdfs-site.xml --hdfs对每个文件的备份量修改为3最佳
                    mapred-site.xml  --修改MR程序执行的框架为yarn,默认为local
                    yarn-site.xml  --配置yarn-web的url,配置yarn的主节点.配置MR程序可分配的内存和核心数

    安装并配置完成后,执行初始化命令 hadoop namaenode -format,会生成currentID

    启动后,应该有如下节点:NameNode
                                          DataNode
                                          NodeManager
                                          ResourceManager

                                          jps