大数据之二 hadoop HDFS集群伪分布式搭建

伪分布式

一台服务器上启动多个进程来表示多个角色（角色=进程）

伪分布式模式安装和配置步骤

1. 配置hosts文件
   主机名修改为：node01
   通过修改/etc/sysconfig/network文件，修改计算机名称为node01

[root@node01 hadoop]# cat /etc/sysconfig/network
        HOSTNAME=node01

修改/etc/hosts文件:``
添加“192.168.194.129 node01”，网络名hadoop1对应ip为虚拟机地址192.168.194.129（可在 /etc/sysconfig/networkscripts/ifcfg-eth0 中配置静态ip）

    [root@node01 etc]# vi hosts
    127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
    192.168.194.129 node01

2. 配置ssh免密码接入

    	ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

3. JDK环境配置
   编辑/etc/profile

    export JAVA_HOME=/home/jdk1.8.0			<!-- 你的JDK安装目录 -->
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin:$PATH

使配置生效，输入命令，source /etc/profile

4. 下载幵解压hadoop安装包

5. 配置集群，修改site文件
   修改hdfs-site.xml配置文件

    <property>
            <name>dfs.replication</name>
            <value>1</value>	<!-- 总存储分数（备份数+1）-->
    </property>
    
    <property>     
     <name>dfs.namenode.secondary.http-address</name>
         <value>node01:50090</value>	   <!-- SecondaryNameNode的位置 -->
    </property>

修改core-site.xml配置文件

<property>
        <name>fs.defaultFS</name>		<!--  HDFS文件默认地址前缀（简化实际访问时路径书写） -->
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>			<!-- HDFS文件存储位置 -->
        <value>/var/abc/hadoop/local</value>
</property>

修改slaves配置文件（配置从节点）

node01

配置hadoop-env.sh文件

    # The java implementation to use.
    export JAVA_HOME=/home/jdk1.8.0
    # 在hadoop-env.sh 配置一条hadoop配置文件所在目录
    export HADOOP_CONF_DIR=/home/hadoop-2.7.5/etc/hadoop

刷新配置 source hadoop-env.sh

6. 将Hadoop 执行命令目录加入到环境变量中
   在vi /etc/profile 中添加：

    export HADOOP_HOME=/home/hadoop-2.7.5		<!-- 你的hadoop 安装路径 -->
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

刷新配置 source /etc/profile

7. 格式化namenode

hdfs namenode -format

8. 启动hadoop

start-dfs.sh

9. 用jps检验各后台进程是否成功启动

    [root@hadoop1 sbin]# jps
    3233 DataNode
    3608 SecondaryNameNode
    3405 NameNode

思维导图