Hadoop2.7安装及集群配置

最新推荐文章于 2024-04-17 01:31:12 发布

fan504

最新推荐文章于 2024-04-17 01:31:12 发布

阅读量491

点赞数

分类专栏： Hadoop 文章标签： Hadoop 集群

本文链接：https://blog.csdn.net/fan504/article/details/54707409

版权

Hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1、安装jdk配置环境变量

在ect/profile 文件末尾添加如下内容：

JAVA_HOME=/usr/local/jdk7

JRE_HOME=/usr/local/jdk7/jre

PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

2、设置ssh无密码登录

详情见《配置ssh无密码登录》

三、

1、将压缩包解压至/usr目录

 
      tar zxvf /home/hadoop/hadoop-2.7.1.tar.gz -C /usr/ 
     
      2、重命名文件夹 
     
      mv /usr/hadoop-2.7.1/ /usr/hadoop
  
      3、创建hadoop数据目录 
     
      mkdir /usr/hadoop/tmp
  
      4、将hadoop文件夹授权给hadoop用户
  
      chown -R fl:fl /usr/hadoop/
  
      5、设置环境变量 
     
        vi /etc/profile 
      
        #追加如下内容 
      
        export HADOOP_HOME=/usr/hadoop 
      
        export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 
      
        export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
      
        export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 
      
        6、使环境变量生效 
      
       source  /etc/profile 
       
      7、测试环境变量设置
  
         hadoop version 
     
      8、修改hadoop-env.sh
  
      cd /usr/hadoop/etc/hadoop/   注：以下命令都是在该目录下执行的 
     
       vi hadoop-env.sh  
     
       #追加如下内容 
     
       export JAVA_HOME=/usr/java/jdk7 
     
      9、修改core-site.xml文件 
     
      vi core-site.xml 
  
      #添加如下内容 
     
      <property> 
     
               <name>fs.defaultFS</name> 
     
               <value>hdfs://127.0.0.1:9000</value> 
     
          </property> 
     
          <property> 
     
               <name>hadoop.tmp.dir</name> 
     
               <value>/usr/hadoop/tmp/</value> 
     
               <description>A base for other temporary directories.</description> 
     
          </property> 
     
      10、修改hdfs-site.xml文件 
     
      vi hdfs-site.xml
  
        #添加如下内容 
     
       <property> 
      
               <name>dfs.replication</name> 
      
               <value>1</value> 
      
           </property> 
      
           <property> 
      
               <name>dfs.namenode.name.dir</name> 
      
               <value>/usr/hadoop/hdfs/name</value> 
      
           </property> 
      
           <property> 
      
               <name>dfs.datanode.data.dir</name> 
      
               <value>/usr/hadoop/hdfs/data</value> 
      
           </property> 
      
        11、格式化hdfs 
      
           hdfs namenode -format 
       
       注： 
       出现Exiting with status 0即为成功 
       
      12、启动hadoop 
     
          start-all.sh 
      
      13、查看是否启动成功 
     
          jps 
      
          如出现以下六个则成功 
      
      51289 ResourceManager
  
      50829 NameNode 
     
      51396 NodeManager 
     
      51702 Jps 
     
      51135 SecondaryNameNode 
     
      50933 DataNode 
     
         14、关闭hadoop 
      
        stop-all.sh