单机伪分布式

目录

一、虚拟机克隆

二、静态IP地址的配置

 三、映射主机名和IP映射

四、jdk的安装

五、 免密登录

六、伪分布式的Hadoop （只需要一台虚拟机）

---

一、虚拟机克隆

① 正常克隆（不详细说明）

② 虚拟机设置 → 网络适配器 → 高级 → 生成 → 确定

    其中网络连接选择NAT模式

二、静态IP地址的配置

① 开启虚拟机

② 修改IP地址 （同Hadoop的操作）

编辑连接 → 添加 → IPv4设置 → 方法改为手动 → 添加 → （先打开虚拟网络编辑器，然后查看VMnet8下的信息：子网地址、子网掩码、网关。） → ip地址设置 ~~ vmnet8下的子网地址前三字段一致；子网掩码 ~~ 默认24；网关 ~~ 查到的一致；DNS服务器：114.114.114.

 三、映射主机名和IP映射

① 在xshell下新建连接 （不详细说明）

② 登录root : su 、 密码

③ 修改主机名 ：vim /etc/sysconfig/network  →  HOSTNAME=master (可自行取名)

④ 修改主机名和地址映射： vim /etc/hosts  → ip地址 主机名

四、jdk的安装

1、解压：tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/soft/ （可指定的解压位置）
2、修改配置：vim /etc/profile  
      export JAVA_HOME=/usr/soft/jdk1.8.0_171
      export PATH=$PATH:$JAVA_HOME/bin
3、生效第2步：source /etc/profile
4、查看是否安装成功：java -version

五、 免密登录

1、关闭防火墙：service iptables stop
2、关闭防火墙的自动启动：chkconfig iptables off
3、在master上执行如下命令生成公私秘钥默认使用RSA类型
   cd  /root
   ssh-keygen
   然后将公钥文件内容添加到授权文件
   ssh-copy-id -i /root/.ssh/id_rsa.pub master
4、登录

三种方法：
  ssh localhost
  ssh master
  ssh ip地址

六、伪分布式的Hadoop （只需要一台虚拟机）

1、hadoop解压
tar -zxvf hadoop-2.7.7.tar.gz -C /usr/soft/
2、hadoop环境
vim /etc/profile
#hadoop
export HADOOP_HOME=/usr/soft/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3、切换到：
（a）在/usr/soft//hadoop-2.7.7下创建：hdfs文件夹
（b）cd /usr/soft//hadoop-2.7.7/etc/hadoop

开始配置

(1) vim hadoop-env.sh
export JAVA_HOME=/usr/soft/jdk1.8.0_171

(2) vim core-site.xml
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/soft/hadoop-2.7.7/hdfs/tmp</value>
         </property>
</configuration>

(3)vim hdfs-site.xml
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/soft/hadoop-2.7.7/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/soft/hadoop-2.7.7/hdfs/data</value>
        </property>
</configuration>

(4)vim mapred-site.xml
① cp mapred-site.xml.template mapred-site.xml
② vi mapred-site.xml
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>
(5)vim yarn-site.xml
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
(6)vim yarn-env.sh
     export JAVA_HOME=/usr/soft/jdk1.8.0_171
(7)slaves
localhost

(8)
cd /usr/soft/hadoop-2.7.7/
执行格式化命令：./bin/hdfs namenode -format
启动执行：./sbin/start-all.sh

jps查看进程：
ResourceManager
NodeManager
NameNode
DataNode
SecondaryNameNode

查看hdfs：ip地址:50070

 最后不用的时候：虚拟机挂起，不能关机

•  下一步参考：http://t.csdn.cn/Zlomf