Linux中安装配置hadoop集群

一、创建用户

       （1）创建用户，并为它创建root权限

        1 sudo adduser hadoop
        2 sudo vim /etc/sudoers
        3 # 修改内容如下：
        4 root ALL = (ALL)ALL
        5 hadoop ALL = (ALL)ALL

      （2）给hadoop用户创建目录并添加在sudo用户组，命令如下

                1  sudo 

              最后注销当前用户，使用新创建的hadoop用户登录

二、安装ssh命令如下

          1 sudo  apt-get  install  ssh   openssh-server

三、安装过程

    （1）下载hadoop安装包

            1、直接去官网下载： http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.8.5.tar.gz

    （2）配置hadoop

            1、解压下载的hadoop安装包，并修改配置文件。我的解压目录是（），即进入  文件夹下执行下面的解压缩命令

                  tar -zxvf hadoop-2.7.1.tar.gz

          2、修改配置文件：/home/hcf/hadoop-2.8.5/etc/目录下的，hadoop-env.sh, core-site.xml,mapred-site.xml.template,hdfs-site.xml

           (1). core-site.xml 配置：其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

                

          (2). mapred-site.xml.template配置:

  

       （3）. hdfs-site.xml配置: 其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置，最好在hadoop.tmp.dir的目录下面。

           （4）修改hadoop-env.sh  export JAVA_HOME=$ {JAVA_HOME}为 export  JAVA_HOME=/home/hcf/jdk1.8.0_201

四、配置完成后运行hadoop