Hadoop-Centos7安装和Hadoop存储规划

为什么80%的码农都做不了架构师？>>>   

 一、安装VMware12、CentOS7：

1、VMware 12 专业版永久许可证密钥：5A02H-AU243-TZJ49-GTC7K-3C61N

2、安装Centos7：

2.1、创建新的虚拟机：典型（推荐）—稍后安装操作系统—Linux(L)—版本CentOS 64位—虚拟机名称：centos64—将虚拟磁盘存储为单个文件—自定义硬件—网络连接：桥接模式—选择ISO镜像：CentOS-7-x86_64

2.2、开启此虚拟机—方向键选择—InstallingCentos7(第一项)—回车—选择English—Next—

    设置安装选项：

    安装软件选择：

    

    手动分区：

    存储规划：/boot : 200M,SWAP : 一般是内存的1~2倍，剩余全部根分区/

    设置网络和名称：    

    开启网络：

    设置名称：

2.3、安装完成后重启

2.4、特别注意：安装完成后ifconfig查看网络命令不可用，新版本后没有该命令，可以使用ip addr命令来查看。

    如何启用并使用ifconfig命令（服务器可以联网的情况下）：

    2.4.1、找到哪个包提供了ifconfig命令，输入以下命令：yum provides ifconfig

    2.4.2、net-tools包提供了ifconfig命令，安装net-tools包，输入如下命令：yum install net-tools

    2.4.3、安装完成后就可以使用ifconfig 命令了。

2.5、网络配置：vim /etc/sysconfig/network-scripts/ifcfg-eno16777736，

        配置完成后重启网卡：/etc/init.d/network restart

    2.5.1、配置静态IP地址：

    /etc/sysconfig/network-scripts

    vim ifcfg-eno16777736（名称可能会不同）

    

    重启网卡：

    systemctl restart network.service

    ip addr

2.6、安装vim：yum install vim-enhanced -y

二、CentOS7系统优化

1、创建hadoop用户

    useradd hadoop

    echo "hadoop123" |passwd --stdin hadoop

2、查看hadoop用户是否添加成功

    su - hadoop

    su - hadoop

3、退出，回到root用户

    exit

    exit

4、查看系统已安装文件

    yum grouplist

    如果安装过程落了部分包组或或者其他软件安装时没选，在安装后可以按如下方式补上安装时未安装的包组：
    yum groupinstall "Compatibility Libraries""Base""Development tools"
    yum gruopinstall "debugging Tools""Dial-up Networking Support"
    可以通过yum groupinfo 包组查看具体安装的组件。

    运行 yum groupinstall "Compatibility libraries"报错：

    [root@server1 mnt]# yum groupinstall Compatibility libraries
    Loaded plugins: fastestmirror
    Loading mirror speeds from cached hostfile
     * base: mirrors.btte.net
     * extras: mirrors.skyshe.cn
     * updates: mirrors.yun-idc.com
    Warning: group Compatibility does not exist.
    Warning: group libraries does not exist.
    Maybe run: yum groups mark install (see man yum)
    No packages in any requested group available to install or update

    解决方法：

    yum clean all  清空信息

    yum makecache  创建缓存

    sudo yum groups install "Compatibility libraries" 

    可以通过yum groupinfo 包组查看具体安装的组件。

5、关闭SELINUX：
  sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
  setenforce 0
  grep SELINUX=disabled /etc/selinux/config

6、查看系统默认运行级别：runlevel

7、查看在3这个运行级别下自动启动了哪些服务

    旧指令：

    chkconfig

    chkconfig --list|grep 3:on

    chkconfig --list|grep 3:on | cut -d " " -f1

    新指令：

    systemctl list-units --type=service

    systemctl list-unit-files|grep enabled

    systemctl list-unit-files --type=service|grep enabled

8、关闭自动运行服务：

    旧指令：

    chkconfig network（服务名） off（关闭自动启动）/on（开启自动启动）

    新指令：

    systemctl disable（关闭自动启动）/enable（开启自动启动）  network.service（服务名）

9、设置以下服务自动启动：

    crond， ntpdate， lvm2-monitor，blk-availability， rsyslog ，sshd，network

10、关闭防火墙：

    查看状态： iptables -L -n

                     systemctl list-unit-files --type=service|grep enabled

11、权限管理：给hadoop用户提升权限（通过sudo可以执行hadoop用户没有权限执行的命令）

   echo 'hadoop ALL=(ALL) NOPASSWD:ALL' >>/etc/sudoers

    su - hadoop

    sudo -l

    sudo su - （不需要密码就可以登录到root用户）

    exit

12、增大文件描述符

    echo '* - nofile 65535' >> /etc/security/limits.conf

    ulimit -a

    logout

    ulimit -a

    这个是全局性的改变，可以登录hadoop用户验证一下：

    su - hadoop

    ulimit -a

    exit

三、vmware克隆虚拟机：

1、管理-克隆-下一步-虚拟机中的当前状态-创建完整克隆-虚拟机名称

2、配置IP地址

3、修改主机名：查看主机名hostname、hostnamectl

    第一种：hostname 主机名

    hostname 主机名称

    这种方式，只能修改临时的主机名，当重启机器后，主机名称又变回来了。

    第二种：hostnamectl set-hostname <hostname>

    命令行中输入

    hostnamectl set-hostname <主机名>

    使用这种方式修改，可以永久性的修改主机名称！

centos6虚拟机eth0无法启动解决：
 其实是因为无线网卡和实体线连接电脑使用的虚拟机网卡格式不同。无线网卡使用eth0，实体线使用eth1。
  vim /etc/udev/rules.d/70-persistent-ipoib.rules 文档，把对应的eth0网卡配置MAC地址修改为现用的网卡MAC地址，保存退出重启网卡即可，最后重启系统。
  重启网卡
  /etc/init.d/network restart
  rm -f /etc/udev/rules.d/70-persistent-ipoib.rules
  cat /etc/sysconfig/network
  删除两项ifcfg-eth0的配置，重启系统即可。

转载于:https://my.oschina.net/pmos/blog/650708