大数据集群搭建之hadoop、tomcat、jdk等工具的安装（三）

目录

本章就说下各种软件的安装和配置。

一、准备的资源：

1、tomcat(如用于在网页上查看HDFS的存储等)
地址：http://pan.baidu.com/s/1miC93ny
密码：52dd
2、jdk
地址：http://pan.baidu.com/s/1mhVWiM0
密码：fmn1
3、Hadoop（最好用centos6.5系统，否则配置时会出现各种BUG）
地址：http://pan.baidu.com/s/1qXXPUdm
密码：5zqe

二、安装配置过程

在安装这些软件之前，再介绍个比较好用的软件给大家
SecureCRT7.3.3 x64(SSH工具)：http://pan.baidu.com/s/1gfzm7Fd
密码：5zy0
先说下这个软件，这个软件是安装在windows环境下，用于在Windows环境下通过SSH协议来控制Linux系统。
简单介绍下使用的过程：
打开软件按照下图进行操作

按照以上操作完毕后，你就可以在右边的命令行下来控制Linux，该软件支持命令行的命令粘贴等功能,详细的使可以自行百度。
接下来介绍各个软件的安装：

1、安装JDK

1.上传jdk-7u45-linux-x64.tar.gz到Linux上
2.解压jdk到/usr/local目录
tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/
3.设置环境变量，在/etc/profile文件最后追加相关内容
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_45
export PATH=$PATH:$JAVA_HOME/bin
4.刷新环境变量
source /etc/profile
5.测试java命令是否可用
java -version

2、安装Tomcat

1.上传apache-tomcat-7.0.68.tar.gz到Linux上
2.解压tomcat
tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/
3.启动tomcat
/usr/local/apache-tomcat-7.0.68/bin/startup.sh
./startup.sh
4.查看tomcat进程是否启动
jps
5.查看tomcat进程端口
netstat -anpt | grep 2465
6.通过浏览器访问tomcat
http://192.168.0.101:8080/

3、安装hadoop

先上传hadoop的安装包到服务器上去/home/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件

3.1配置hadoop


第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65

    第二个：core-site.xml

        <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://weekend-1206-01:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.4.1/tmp</value>
    </property>

    第三个：hdfs-site.xml   
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

        <property>
            <name>dfs.secondary.http.address</name>
            <value>192.168.1.152:50090</value>
        </property>




    第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

    第五个：yarn-site.xml
        <!-- 指定YARN的老大（ResourceManager）的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>weekend-1206-01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

    3.2将hadoop添加到环境变量

    vim /etc/proflie
        export JAVA_HOME=/usr/java/jdk1.7.0_65
        export HADOOP_HOME=/itcast/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source /etc/profile

    3.3格式化namenode（是对namenode进行初始化）
        hdfs namenode -format (hadoop namenode -format)

    3.4启动hadoop
        先启动HDFS
        sbin/start-dfs.sh

        再启动YARN
        sbin/start-yarn.sh

    3.5验证是否启动成功
        使用jps命令验证
        27408 NameNode
        28218 Jps
        27643 SecondaryNameNode
        28066 NodeManager
        27803 ResourceManager
        27512 DataNode

        http://192.168.1.101:50070 （HDFS管理界面）
        http://192.168.1.101:8088 （MR管理界面）

在下面的章节中会介绍下HDFS的原理和基本操作等知识