大数据hadoop hdfs 基础环境搭建

最新推荐文章于 2024-03-25 15:19:31 发布

gauyeah309

最新推荐文章于 2024-03-25 15:19:31 发布

阅读量139

点赞数 1

  1.需要5个软件，virtualBox，centos，hadoop()，jdk(linux)， xshell(远程登录) 

  2.virtualBox 新建虚拟机Linux Red Hat 64位 

  3.安装centos， 硬盘->动态分配，软件选择->基础设施服务器 

  4.设置网络， 

      a).设置宿主机实际联网网卡的共享  

      b).控制面板->网络->网络连接->vitualBox Host only Network网卡的ip设置为192.16.8.2.1，子网掩码设置为255.255.255.0，dns设置为 
 192.168.2.1 

   5.虚拟机中网络设置 

     a).在虚拟机中选择用 
 Host only网络 

 
    b).vi /etc/sysconfig/network 

 
             NETWORKING=yes 

 
             QATEMAY-192.168.2.1 

 
    c).vi /etc/sysconfig/network-sripts/ifcfg-enp0s3 

          TYPE=Ethernet 

          IPADDR=192.168.2.20 

         NETMASK=255.255.255.0 

      d).修改主机名hostnamectl set-hostname master //主机名不能用有下划线 

       e).如需虚拟上网，需配置/etc/resolv.conf 

       f).重启网络 service network restart 

       g).检查ssh服务状态 service sshd status 

       h).互相ping 看是否测试成功 

    6. 无界面启动虚拟机，用xshell和xftp将下载好的jdk，hadoop复制到dfs_master的/usr/local 

    7.安装jdk，rpm -ivh jdk****.rpm 

    8.安装hadoop，tar -xvf hadoop****.tar.gz 

       a).修改java环境变量 vim hadoop-env.sh  export JAVA_HOME=/usr/java/default 

       b).hadoop加入系统环境变量，vim /etc/profile 

 
           追加 export PATH=￥PATH:/usr/hadoop/bin:/usr/hadoop/sbin 

        c).source etc/profile 使文件生效 

        d).测试hadoop命令是否OK，任意目录输入hadoop   

     9.依次启动不同的slave并修改ip地址 

      10.采用无界面启动，使用XShell来登陆，修改4台机器的/etc/hosts，测试相互能ping通 

      192.168.56.100 master 

      192.168.56.101 slave1 

 
     192.168.56.102 slave2 

 
     192.168.56.103 slave3 

关注