hadoop hive hbase 越学越薄系列

第一部分 ：Hadoop配置 （需要jdk）

1.环境变量部分

关闭防火墙                         

chkconfig iptables off      //修改完毕后，需要重启

环境变量        JAVA_HOME 和 HADOOP_HOME 和 各自的bin        

/etc/profile     //修改完毕后，记得执行 source /etc/profile

vi reset.sh 创建ip生成脚本 并运行

me=$(cat /etc/udev/rules.d/70-persistent-net.rules |grep -oP '(?<=NAME=").*(?=")'|tail -1)
mac=$(cat /etc/udev/rules.d/70-persistent-net.rules |grep -oP '(?<=ATTR{address}==").*?(?=",)'|tail -1)
sed -i s/DEVICE.*/DEVICE=${name}/ /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i s/HWADDR=.*/HWADDR=${mac}/ /etc/sysconfig/network-scripts/ifcfg-eth0
service network restart

运行以下命令关闭safe mode:

hadoop dfsadmin -safemode leave

修改hostname                 

 /etc/sysconfig/network

修改主机名映射                

/etc/hosts

2.hadoop文件中的配置文件

hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径：

export JAVA_HOME="/opt/modules/jdk1.7.0_67"

配置core-site.xml       

<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop01:8020</value>   //fs.defaultFS为NameNode的地址       
 </property>
 <property>
   <name>hadoop.tmp.dir</name>   //hadoop.tmp.dir为hadoop临时目录的地址（不存在需要先创建）
   <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value>   
 </property>
</configuration>

hdfs-site.xml           

<configuration>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop03:50090</value>      //指定secondaryNameNode
 </property>
</configuration>

配置slaves    指定HDFS上的DataNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves
bigdata-senior01.chybinmy.com
bigdata-senior02.chybinmy.com
bigdata-senior03.chybinmy.com

配置yarn-site.xml    

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>    //resourcemanager服务器指向hadoop02
        <value>hadoop02</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>     //启用日志聚集功能
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>    //日志在HDFS上保存时间
        <value>106800</value>
    </property>

 mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>             //设置mapreduce任务运行在yarn上
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop01:10020</value>         // 设置mapreduce的历史服务
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop01:19888</value>             //设置历史服务器的web页面地址和端口号
    </property>
</configuration>

3.免密登录     scp命令可执行