搭建分布式集群（一）

基础操作

1. 客户机的文本模式与图形模式切换

     1. ctrl + alt + F6  文本模式
     2. ctrl + alt + F7   图形模式

2. 设置开机默认进入文本模式

    1. 进入 /etc/default/grub
    2. 将GRB_CMPLINE_LINUX_DEFAULT="quiet"
        修改为：GRB_CMPLINE_LINUX_DEFAULT="text"
    3. 更新： $> sudo update-grub

3. 配置集群主机

    1. 格式： ip： 192.168.1.100--192.168.1.105
         主机名: s100--s105
    2. 更改主机名: /etc/hostname
        $>   sudo echo s100(主机名s100--s105) > hostname
    3. 更改主机ip : /etc/hosts
        ifconfig 查看ip
        $> sudo nano hosts
            127.0.0.1                    localhost(默认存在)
            192.168.1.100                s100
            192.168.1.101                s101
            192.168.1.102                s102
            192.168.1.103                s103
            192.168.1.104                s104
            192.168.1.105                s105
    注： 每个主机都进行以上配置

安装jdk

    1. 下载jdk1.8.0
    2. $> tar -xzvf  jdk1.8.0文件
    3. 在根目录下：$> cd  /
    4. 新建文件夹： $> sudo mkdir   /soft
    5. 更改权限： $> sudo chown  ubuntu:ubuntu  /soft
    6. 将tar开 的文件拷贝到soft下：$>sudo  mv   ~/download/jdk1.8.0   /soft
    7. 配置环境变量：$> sudo  cat /etc/environment
        $>  ln  -s  jdk1.8.0   jdk
        environment下： 
            JAVA_HOME=/soft/jdk
            PATH=":/soft/jdk/bin"
    8. 查看Java是否生效
        $> source  environment
        $>  echo  $JAVA_HOME   如果输出是/soft/jdk，则配置成功
        $>  echo  $PATH   如果输出/soft/jdk/bin， 则配置成功

安装hadoop

    1. 下载hadoop2.9.0
    2. $> tar -xzvf  adoop2.9.0文件
    3. 在根目录下：$> cd  /
    4. 将tar开 的文件拷贝到soft下：$>sudo  mv   ~/download/adoop2.9.0   /soft
    5. 配置环境变量：$> sudo  cat /etc/environment
        $>  ln  -s  adoop2.9.0   hadoop
        environment下： 
            HADOOP_HOME=/soft/hadoop
            PATH=":/soft/hadoop/bin:/soft/hadoop/sbin"
    6. 查看hadoop是否生效
        $> source  environment
        $>  echo  $HADOOP_HOME   如果输出是/soft/hadoop，则配置成功
        $>  echo  $PATH   如果输出":/soft/hadoop/bin:/soft/hadoop/sbin"， 则配置成功
    7. 配置hadoop
        1> core-site.xml
            <configuration>
                <property>
                    <name>fs.defaultFS</name>
                    <value>hdsf://localhost/</value>
                </property>
            </configuration>
        2> hdfs-site.xml
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>
        3> mapred-site.xml
            $> cp mapred-site.xml.template mapred-site.xml
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
            </configuration>
        4> yarn-site.xml
            <configuration>
                <property>
                    <name>yarn.resourcemaneger.hostname</name>
                    <value>localhost</value>

                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>
    8.检查配置结果
        1> 启动hadoop 
            $> start-all.sh
        2> 查看进程数
            $> jps
        3> 如果进程数不对，则关闭hadoop,并且进行格式化
            $> stop-all.sh
            $> hadoop  namenode -format
        注： start-all.sh 启动所有进程
            start-dfs.sh 启动数据节点和名称节点进程
            start-mapred.sh  启动资源管理进程

安装ssh

    1. 下载ssh
        $>  sudo apt-get install -f ssh
        $>  sudo apt-get install openssh-server
    2. 启动无密登录，并且生成密钥对
        $> ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    3. 将公钥导入授权库
        $> cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    4. 登录到localhost
        $> ssh localhost
    5. 退出
        $> exit