Hadoop集群初步搭建:

  自己整理了一下Hadoop集群简易搭建的过程,感谢尚观科技贾老师的授课和指导!

基本环境要求:能联网电脑一台;装有Centos系统的VMware虚拟机;Xmanager Enterprise 5软件。

•规划集群的ip地址:(计划)

10.10.10.31-->uplooking01

10.10.10.32-->uplooking02

10.10.10.33-->uplooking03

•克隆2个虚拟机:(在VMware里操作)

  1. 右击将uplooking重命名为uplooking01;
  2. 打开uplooking01虚拟机,输入指令vim  /etc/sysconfig/network-scripts/ifcfg-eth0     将IP地址设置为10.10.10.31
  3. 虚拟机系统管理->右键克隆->完整克隆->uplooking02、uplooking03

•配置克隆机主机名:(以下操作均可在XShell中进行!)

uplooking02和03机下分别输入指令vim /etc/sysconfig/network

将HOSTNAME改为uplooking02、uplooking03

•修改克隆机网络配置:

uplooking02和03机下分别输入指令vim /etc/sysconfig/network-scripts/ifcfg-eth0

删去HWADDR、UUID行;

IP地址行分别改为10.10.10.32、10.10.10.33。

•解决克隆机网卡名称变为eth1问题:

uplooking02和03机下分别输入指令rm -rf /etc/udev/rules.d/70-persistent-net.rules

重启reboot。

•配置物理机和虚拟机之间的映射:

C:\Windows\System32\drivers\etc\hosts    文件,添加并保存 

  10.10.10.31  uplooking01

  10.10.10.32  uplooking02

  10.10.10.33  uplooking03

•配置虚拟机之间的映射: 

uplooking01、02和03机下分别输入指令vim /etc/hosts    添加并保存

10.10.10.31  uplooking01

10.10.10.32  uplooking02

10.10.10.33  uplooking03

•关闭防火墙:

    关闭网络防火墙:service iptables stop

    关闭防火墙的开机自启:chkconfig iptables off

    关闭selinux(Linux访问权限管理系统)服务:vim /etc/selinux/config        SELINUX=disabled

    开启时间同步服务器:service ntpd start

    设置时间同步服务器开机自启:chkconfig ntpd on

•uplooking01免密码登录到uplooking02与uplooking03

1>生成公钥和私钥  ssh-keygen  -t rsa

2>把自己的公钥文件(~/.ssh/id_rsa.pub)追加到需要

免密码登录的主机的认证文件(~/.ssh/authorized_keys)中

   ssh-copy-id root@uplooking01

   ssh-copy-id root@uplooking02

   ssh-copy-id root@uplooking03

scp ~/.ssh/authorized_keys

 

•安装jdk:

先查询本机是否安装了jdk如果安装了先卸载:rpm -qa        |        grep jdk

查看当前Java版本: java -version 

    在uplooking01上进行操作:

        ①mkdir  /software  (在/目录下创建software文件夹)

        ②上传jdk的安装包到linux主机下的的 /software  (Ctrl+Alt+F新建文件传输)

        ③tar -zxvf jdk-8u172-linux-x64.tar.gz  -C /opt/  (解压安装包,先cd进software)

        ④mv jdk1.8.0_172/ jdk  (重命名为jdk)

        ⑤配置环境变量

          vim /etc/profile添加 

          export JAVA_HOME=/opt/jdk

          export PATH=$PATH:$JAVA_HOME/bin

        ⑥使环境变量立刻生效

          source /etc/profile

        ⑦远程发送uplooking01上已安装好的jdk和环境变量的配置

          scp -r /opt/jdk  root@uplooking02:/opt

          scp -r /opt/jdk  root@uplooking03:/opt

 

          scp /etc/profile root@uplooking02:/etc/

          scp /etc/profile root@uplooking03:/etc/

•安装mysql用于存储元信息:

在uplooking03操作:

    首先查看是否安装了mysql,如果安装了先卸载:

        rpm -qa|grep mysql

        rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps

        yum -y install mysql-server

        service mysqld start

    登录到mysql:  mysql -uroot –p

    修改mysql的密码:  set password=password("root")

    修改权限:

        use mysql

        delete from

        delete from user where password = '‘;

        update user set host='%' ;

        flush privileges;

   设置/proc/sys/vm/swappiness为0:(三台虚拟机都做)

        vim /etc/sysctl.conf    添加并保存      vm.swappiness=0

        重启或激活:sysctl –p

•关闭THP(所有机器都做):

透明大页的开启,同样会消耗掉大量的内容,(包括HDP和CDH)建议将其关闭,添加进/etc/rc.local

        echo never>/sys/kernel/mm/redhat_transparent_hugepage/defrag

        echo never >/sys/kernel/mm/redhat_transparent_hugepage/enabled

        echo never>/sys/kernel/mm/transparent_hugepage/enabled

        echo never > /sys/kernel/mm/transparent_hugepage/defrag

好啦!这样一个简单的集群就搭好啦~~   

发布了46 篇原创文章 · 获赞 0 · 访问量 251
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 游动-白 设计师: 上身试试

分享到微信朋友圈

×

扫一扫,手机浏览