CDH5.4 hadoop 修改日志默认路径

    
    涉及到Hadoop 日志存储位置的共有三个地方的配置文件,分别是
    /etc/Hadoop/conf/hadoop-env.sh 
    /usr/lib/hadoop/libexec/hadoop-config.sh 
    /etc/default/hadoop
    该三处文件的起作用的优先级分别是Hadoop-env.sh > Hadoop-config.sh > /etc/default/Hadoop 
    所以修改hadoop日志存储位置,就有了三种方式
    方式一:在Hadoop-env.sh 中修改
    因在cloudera集成的 Hadoop中,Hadoop-env.sh 在/etc/Hadoop/conf 目录下已不存在,可以新建hadoop-env.sh 
    在其中添加内容:   
    export HADOOP_LOG_DIR=/mnt/disk1/hadoop-hdfs    # 指向自定义的路径
    export HADOOP_SECURE_DN_LOG_DIR=$HADOOP_LOG_DIR

   方式二:
    修改 usr/lib/hadoop/libexec/hadoop-config.sh    
 # default log directory & file
 if [ "$HADOOP_LOG_DIR" = "" ]; then
   HADOOP_LOG_DIR="$HADOOP_PREFIX/logs"
 fi

    方式三:
     修改 /usr/default/  的相关文件 (hadoop-hdfs-namenode、hadoop-hdfs-datanode、 hadoop-mapreduce-historyserver、hadoop-yarn-nodemanager、 hadoop-yarn-resourcemanager)    
     1)修改hadoop-hdfs-namenode  将如下的两项修改为自己自定义的路径                    
     export HADOOP_LOG_DIR=/mnt/disk1/hadoop-hdfs
     export HADOOP_PRIVILEGED_NFS_LOG_DIR=/mnt/disk1/hadoop-hdfs
      2)修改hadoop-hdfs-datanode          
      export HADOOP_LOG_DIR=/mnt/disk1/hadoop-hdfs
      export HADOOP_PRIVILEGED_NFS_LOG_DIR=/mnt/disk1/hadoop-hdfs
      3) 修改  hadoop-mapreduce-historyserver           
      export HADOOP_MAPRED_LOG_DIR=/mnt/disk1/hadoop-mapreduce
      export HADOOP_LOG_DIR=/mnt/disk1/hadoop-mapreduce
       4)修改 hadoop-yarn-nodemanager           
       export YARN_LOG_DIR=/mnt/disk1/hadoop-yarn
       5)修改 hadoop-yarn-resourcemanager           
       export YARN_LOG_DIR=/mnt/disk1/hadoop-yarn
          有关yarn的日志配置,还需检查下/etc/Hadoop/conf/yarn-site.xml  的配置文件,有些人也会直接在这里面配置yarn的日志路径       
          最后,在自定的路径下,新建三个文件夹         
        mkdir  hadoop-hdfs
        mkdir  hadoop-yarn
        mkdir  hadoop-mapredcue
         修改文件夹的属性        
        chown  yarn:hadoop  hadoop-yarn
        chown  hdsf:hadoop  hadoop-hdfs
        chown  mapred:hadoop hadoop-mapreduce 
        必要时:也可以分别将文件权限修改为 chmod  777  hadoop-yarn      
        最后重启服务验证:        
        service hadoop-hdfs-namenode restart 
        service hadoop-hdfs-datanode  restart
        service hadoop-yarn-resourcemanager restart
        service Hadoop-yarn-nodemanager restart 
        service   Hadoop-mapreduce-historyserver -restart

     
             
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值