一、环境的准备
系统:CentOS 6.5版本,64位
内存:10GB
硬盘:40GB
CPU:10核
1、检查服务器资源
# free -m 查看系统内存分布使用情况
# df -h 目前磁盘空间和使用情况
//查看物理cpu个数
# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
//每个物理cup的核数
# cat /proc/cpuinfo| grep "cpu cores"| uniq
上面两个结果相乘=cpu总核数
//结果一共有几核cpu
# cat /proc/cpuinfo| grep "processor"| wc -l
2、配置ip、hostname、映射 (所有服务器)
1)查看文件信息并且追加信息
# vi /etc/sysconfig/network
HOSTNAME=Ryosuke01.com
i插入修改,esc退出,:wq保存退出,:w保存不退出,:q!强制退出
2)重启生效
# service network restart
3)验证
# hostname
4)查看文件信息并且追加信息(所有机器)
# vi /etc/hosts
192.168.84.131 Ryosuke01.com
192.168.84.132 Ryosuke02.com
192.168.84.133 Ryosuke03.com
5)验证
# ping www.baidu.com
6)检查映射是否配好
7)设置静态ip(服务器的就不需要了)
3、禁用ipv6
1)查看文件信息并且追加信息
cat /etc/modprobe.d/dist.conf
# echo "alias net-pf-10 off">>/etc/modprobe.d/dist.conf
# echo "alias ipv6 off">>/etc/modprobe.d/dist.conf
2)重启生效
ip a 验证是否成功
4、禁用selinux 和关闭防火墙
1)禁用selinux
# getenforce 查看selinux状态
# vi /etc/sysconfig/selinux
SELINUX=disabled
重启生效
验证:[root@Ryosuke01 ~]# getenforce
Disabled
2)关闭防火墙:
# service iptables stop
# 设置成开机不启动
# chkconfig iptables off
5、JDK安装(所有机器)
1)卸载系统自带的相关安装包
# rpm -qa | grep java
# rpm -e --nodeps tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
2)创建目录,上传解压jdk
# mkdir -p /opt/modules
# mkdir -p /opt/softwares
# tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/modules
3)配置java环境变量(所有机器)
# vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
4)配置生效(所有机器)
# source /etc/profile
5)拷贝给其他服务器(所有机器)
[root@Ryosuke01 modules]# scp -r ./ root@Ryosuke02.com:/opt/modules/
[root@Ryosuke01 modules]# scp -r ./ root@Ryosuke03.com:/opt/modules/
6)验证
# java -version
6、ssh免密码登录 (所有服务器)
0)ssh 针对用户,并且首先保证ssh localhost正常通畅
ssh localhost
1) 在每台服务器上生成公私密钥
ssh-keygen
2)分发公钥(注意:每次ssh登录后,事情做完后,记得exit)
ssh-copy-id -i ~/.ssh/id_rsa.pub Ryosuke01.com
ssh Ryosuke01.com
exit
ssh-copy-id -i ~/.ssh/id_rsa.pub Ryosuke02.com
ssh Ryosuke02.com
exit
ssh-copy-id -i ~/.ssh/id_rsa.pub Ryosuke03.com
ssh Ryosuke03.com
exit
2)验证:
# ssh Ryosuke02.com
注意:每次ssh登录后,事情做完后,记得exit
6、集群系统的时间同步
三台都最好安装一下:ntp (无ntp的)
没有ntpd服务的安装:yum -y install ntp
1)选择一台服务器作为集群的时间服务器
192.168.84.131 Ryosuke01.com
//启动ntpd进程服务
service ntpd start 启动
chkconfig ntpd on 开机启动
2)修改时间服务器的配置文件
# vim /etc/ntp.conf
显示行数: :set number
注释打开,然后修改为本集群的网段,修改ip网段:192.168.84.0
18 # restrict 192.168.84.0 mask 255.255.255.0 nomodify notrap
注释掉
22 #server 0.centos.pool.ntp.org
23 #server 1.centos.pool.ntp.org
24 #server 2.centos.pool.ntp.org
25 #server 3.centos.pool.ntp.org
注释打开,如果系统没有下面信息,需要手动添加
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
3)启动并且配置开机时启动
# service ntpd start && chkconfig ntpd on
4)更新本地时间
[root@Ryosuke01 java]# ntpdate -u us.pool.ntp.org
24 Feb 15:24:11 ntpdate[2408]: step time server 202.112.10.60 offset 4.004597 sec
ntp.sjtu.edu.cn 202.120.2.101 (上海交通大学网络中心NTP服务器地址)
s1a.time.edu.cn 北京邮电大学
s1b.time.edu.cn 清华大学
5)查看本地硬件时钟时间,并进行更新
# hwclock --localtime
# hwclock --localtime -w //系统时间同步给硬件时间
6)服务器关机或断电后,系统时间不准确,硬件时钟时间正常走动,设置服务器启动后自动将硬件时钟时间同步给系统时间
# vi /etc/sysconfig/ntpd
添加
SYNC_HWCLOCK=yes
7)服务器重启启动或断网重新连接后,会自动同步网络时间,设置下让系统时间自动同步给本地硬件时钟时间
# vi /etc/sysconfig/ntpdate
SYNC_HWCLOCK=yes
8)其他的服务器与这台时间服务器进行时间同步(剩余两台所有机器)
# crontab -e
*/5 * * * * /usr/sbin/ntpdate -u Ryosuke01.com
注:crontab任务执行后发mail,通过mail命令查看用户邮件,可以通过(& mail 编号)查看指定的邮件
9)所有节点 启动ntpd服务(剩余两台所有机器)
# service ntpd restart && service crond restart
# chkconfig ntpd on
关闭的命令(不用执行)
# service ntpd stop && service crond stop
7、设置用户能打开的文件最大数量、进程最大数据、能使用的内存量 (所有服务器)(soft:警告;hard:停机)
1)查看文件信息并且修改
# vi /etc/security/limits.conf
* soft nofile 32728
* hard nofile 1024567
* soft nproc 65535
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited
2)bigdata01复制limits.conf到其他各台机器
# scp /etc/security/limits.conf root@Ryosuke02.com:/etc/security/limits.conf
# scp /etc/security/limits.conf root@Ryosuke03.com:/etc/security/limits.conf
3)重启生效
验证: # ulimit -a
注:强调该文件,严格按照格式来改最好通过复制修改,如果limits.conf配置错误,linux重启不能进入
设置主机名的方式:永久生效
-》vi /etc/sysconfig/network
映射:
格式:IP+主机名
Linux和windows都需要设置
linux中: vi /etc/hosts
windows配置文件路径:C:\Windows\System32\drivers\etc\hosts文件
192.168.189.130 Ryosuke01.com
hive表加载数据
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename
create table row_table(
id int,
name string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY " "; 修改分隔符
create table row_table(
id int,
name string,
age int
)ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";