CM系统环境配置

一、环境的准备    
系统：CentOS 6.5版本，64位
      内存：10GB
      硬盘：40GB
      CPU：10核

1、检查服务器资源
    # free -m 查看系统内存分布使用情况

    # df -h   目前磁盘空间和使用情况

    //查看物理cpu个数    
    # cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

    //每个物理cup的核数
    # cat /proc/cpuinfo| grep "cpu cores"| uniq
    
        上面两个结果相乘=cpu总核数

    //结果一共有几核cpu
    # cat /proc/cpuinfo| grep "processor"| wc -l

2、配置ip、hostname、映射 （所有服务器）
    1）查看文件信息并且追加信息
        # vi /etc/sysconfig/network
        HOSTNAME=Ryosuke01.com
        i插入修改，esc退出，：wq保存退出，：w保存不退出，：q！强制退出
    2）重启生效 
        # service network restart
    3）验证 
        # hostname
    4）查看文件信息并且追加信息（所有机器）
        # vi /etc/hosts
        192.168.84.131  Ryosuke01.com 
        192.168.84.132  Ryosuke02.com 
        192.168.84.133  Ryosuke03.com 
    5）验证
        # ping www.baidu.com

    6）检查映射是否配好
    7）设置静态ip（服务器的就不需要了）    
3、禁用ipv6 
    1）查看文件信息并且追加信息
        cat /etc/modprobe.d/dist.conf
        # echo "alias net-pf-10 off">>/etc/modprobe.d/dist.conf 
        # echo "alias ipv6 off">>/etc/modprobe.d/dist.conf
    2）重启生效
        ip a 验证是否成功

4、禁用selinux 和关闭防火墙
    1）禁用selinux 
        # getenforce    查看selinux状态 
        # vi /etc/sysconfig/selinux 
            SELINUX=disabled
        重启生效
        验证：[root@Ryosuke01 ~]# getenforce 
            Disabled

    2）关闭防火墙：
        # service iptables stop    
        # 设置成开机不启动
        # chkconfig iptables off

5、JDK安装（所有机器）    
    1）卸载系统自带的相关安装包        
        # rpm -qa | grep java        
        # rpm -e --nodeps tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
    
    2）创建目录，上传解压jdk
        # mkdir -p /opt/modules
        # mkdir -p /opt/softwares
        # tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/modules    
    3）配置java环境变量（所有机器）
        # vi /etc/profile
        export JAVA_HOME=/opt/modules/jdk1.8.0_144
        export PATH=$PATH:$JAVA_HOME/bin
    4）配置生效（所有机器）
        # source /etc/profile
    5）拷贝给其他服务器（所有机器）    
        [root@Ryosuke01 modules]#  scp -r ./ root@Ryosuke02.com:/opt/modules/
        [root@Ryosuke01 modules]#  scp -r ./ root@Ryosuke03.com:/opt/modules/

    6）验证
        # java -version

6、ssh免密码登录 （所有服务器） 
    0）ssh 针对用户，并且首先保证ssh localhost正常通畅
        ssh localhost
    1） 在每台服务器上生成公私密钥
        ssh-keygen
    2）分发公钥（注意：每次ssh登录后，事情做完后，记得exit）

        ssh-copy-id -i ~/.ssh/id_rsa.pub Ryosuke01.com
        ssh  Ryosuke01.com
        exit

        ssh-copy-id -i ~/.ssh/id_rsa.pub Ryosuke02.com
        ssh  Ryosuke02.com
        exit

        ssh-copy-id -i ~/.ssh/id_rsa.pub Ryosuke03.com
        ssh  Ryosuke03.com
        exit

    2）验证：
        # ssh Ryosuke02.com
        
    注意：每次ssh登录后，事情做完后，记得exit

6、集群系统的时间同步
        三台都最好安装一下：ntp   （无ntp的）
        没有ntpd服务的安装：yum -y install ntp

    1）选择一台服务器作为集群的时间服务器        
        192.168.84.131  Ryosuke01.com 
        //启动ntpd进程服务
        service ntpd start 启动
        chkconfig ntpd on  开机启动
          

    2）修改时间服务器的配置文件
        # vim /etc/ntp.conf
        显示行数：  ：set number
        注释打开，然后修改为本集群的网段，修改ip网段：192.168.84.0
        18 # restrict 192.168.84.0 mask 255.255.255.0 nomodify notrap          
        注释掉
        22 #server 0.centos.pool.ntp.org
        23 #server 1.centos.pool.ntp.org
        24 #server 2.centos.pool.ntp.org
        25 #server 3.centos.pool.ntp.org
        注释打开，如果系统没有下面信息，需要手动添加
        server  127.127.1.0     # local clock
        fudge   127.127.1.0 stratum 10

    3）启动并且配置开机时启动
        # service ntpd start && chkconfig ntpd on 

    4）更新本地时间
        [root@Ryosuke01 java]# ntpdate -u us.pool.ntp.org 
        24 Feb 15:24:11 ntpdate[2408]: step time server 202.112.10.60 offset 4.004597 sec    
        ntp.sjtu.edu.cn 202.120.2.101 (上海交通大学网络中心NTP服务器地址）
        s1a.time.edu.cn 北京邮电大学
        s1b.time.edu.cn 清华大学

    5）查看本地硬件时钟时间，并进行更新
        # hwclock --localtime
        # hwclock --localtime -w  //系统时间同步给硬件时间

    6）服务器关机或断电后，系统时间不准确，硬件时钟时间正常走动，设置服务器启动后自动将硬件时钟时间同步给系统时间
        # vi /etc/sysconfig/ntpd
        添加 
            SYNC_HWCLOCK=yes

    7）服务器重启启动或断网重新连接后，会自动同步网络时间，设置下让系统时间自动同步给本地硬件时钟时间
        # vi /etc/sysconfig/ntpdate 
            SYNC_HWCLOCK=yes

    8）其他的服务器与这台时间服务器进行时间同步（剩余两台所有机器）
        # crontab -e
        */5 * * * * /usr/sbin/ntpdate -u Ryosuke01.com
    注：crontab任务执行后发mail，通过mail命令查看用户邮件，可以通过（& mail 编号）查看指定的邮件

    9）所有节点 启动ntpd服务（剩余两台所有机器）        
        # service ntpd restart && service crond restart
        # chkconfig ntpd on        
                
           关闭的命令（不用执行）
        # service ntpd stop && service crond stop 

7、设置用户能打开的文件最大数量、进程最大数据、能使用的内存量 （所有服务器）（soft：警告；hard：停机）
    1）查看文件信息并且修改
        # vi /etc/security/limits.conf         
*               soft    nofile          32728
*               hard    nofile          1024567
*               soft    nproc           65535
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited
    
    2）bigdata01复制limits.conf到其他各台机器
        # scp /etc/security/limits.conf root@Ryosuke02.com:/etc/security/limits.conf 
        # scp /etc/security/limits.conf root@Ryosuke03.com:/etc/security/limits.conf 

    3）重启生效
        验证: # ulimit  -a

    注：强调该文件，严格按照格式来改最好通过复制修改，如果limits.conf配置错误，linux重启不能进入

---

设置主机名的方式：永久生效
                    -》vi /etc/sysconfig/network

映射：

            格式：IP+主机名
            Linux和windows都需要设置
            linux中: vi /etc/hosts
            windows配置文件路径：C:\Windows\System32\drivers\etc\hosts文件
            192.168.189.130 Ryosuke01.com

---

hive表加载数据
    LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename
    
    create table row_table(
    id int,
    name string
    )ROW FORMAT DELIMITED FIELDS TERMINATED BY " "; 修改分隔符

create table row_table(
id int,
name string,
age int
)ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";