大数据笔记3：hadoop集群搭建

打开虚拟机hadoop101

搭建的集群数量一共3台：hadoop101、hadoop102、hadoop103

把hadoop2.6.0软件包放到目录 /opt/software下 执行安装命令

tar -zxvf /opt/software/hadoop-2.6.0.tar.gz -C /opt/module

创建软连接

cd /opt/module
ln -s hadoop-2.6.0-cdh5.14.2/ hadoop

添加hadoop环境变量

sudo vim /etc/profile.d/my_env.sh

把下内容粘贴在java环境变量的下面

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新环境变量

source /etc/profile

可以查看版本号了

hadoop version

安装epel-release插件

sudo yum install -y epel-release

安装失败就先关掉相应进程，例如： kill - 3030

添加主机名称映射

sudo vim /etc/hosts

把下面的内容放到文件内容的下面

192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103

windows(本机)也需要添加主机名称映射，文件路径：

C:\Windows\System32\drivers\etc\hosts

进入/opt/module/hadoop-2.6.0-cdh5.14.2/etc/hadoop目录

下面修改的文件都在这里

cd /opt/module/hadoop-2.6.0-cdh5.14.2/etc/hadoop

修改slaves文件 (没有找到就找workers文件)

hadoop101
hadoop102
hadoop103

修改core-site.xml文件

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop101:9000</value>
    </property>
    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop/data/tmp</value>
    </property>
    <!-- 指定HDFS网页登录的用户身份 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>zy</value>
    </property>
</configuration>

修改hdfs-site.xml文件

<configuration>
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--web访问NameNode地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop101:50070</value>
    </property>
    <!--web访问SecondaryNameNode地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop103:50090</value>
    </property>
</configuration>

修改yarn-site.xml文件

<configuration>
    <!-- 指定MR走shuffle协议 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop102</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name> 
        <value>true</value>
    </property>
    <!-- 指定日志服务器地址 -->
    <!-- <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop101:19888/jobhistory/logs</value>
    </property> -->
    <!-- 日志保留时间设置7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

修改mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml

<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 指定历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop103:10020</value>
    </property>
    <!-- 指定历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop103:19888</value>
    </property>
</configuration>

修改mapred-env.sh文件

添加java环境变量

export JAVA_HOME=/opt/module/jdk

关闭Hadoop101虚拟机，克隆两台：Hadoop102、Hadoop103

修改主机名称和主机ip

hadoop101        192.168.10.101
hadoop102        192.168.10.102

vim /etc/hostname
vim /etc/sysconfig/network-scripts/ifcfg-ens32

重启三台虚拟机

配置免密登录

三台都执行下面四个命令（也可以只在hadoop101上执行）

ssh-keygen -t rsa
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103

在hadoop101上执行格式化命令

hdfs namenode -format

启动命令

hadoop101上启动hdfs：start-dfs.sh

hadoop102上启动yarn：start-yarn.sh

hadoop103上启动历史服务：mr-jobhistory-daemon.sh start historyserver

查看服务：jps

网站地址

http://hadoop101:50070

http://hadoop102:8088

http://hadoop103:19888

停止命令

hadoop101上停止hdfs：stop-dfs.sh

hadoop102上停止yarn：stop-yarn.sh

hadoop103上停止历史服务：mr-jobhistory-daemon.sh stop historyserver