hadoop部署环境检查&初始化

一、硬件检查

1.检查磁盘数量

fdisk  -l |grep 'Disk /dev'

查看所有硬盘数量，检查服务器硬盘数量是否和规划一致，有无硬盘缺失

2.检查内存容量

1）free -g

检查所有服务器内存大小是否相同或符合规划

2）查看内存条是否和采购一致（可选）

dmidecode |grep -A16 "Memory Device$"：查看每条内存的详细的信息

3.检查cpu线程

1）检查所有服务器cpu线程数是否相同

grep processor /proc/cpuinfo |wc -l 或执行 nproc

2）检查cpu型号与采购是否一致（可选）

cat /proc/cpuinfo

3）若cpu线程数量大于25

则安装ambari-server时，需要同步修改配置文件中 client.threadpool.size.max 参数，可以改为100

4.检查网卡速度

1) 查看网卡网速

执行ethtool $万兆网卡

返回Speed: 10000Mb/s

2) 测试速度 （选测1-2台服务器即可）

安装

yum install iperf

服务端启动

iperf -s

客户端启动

iperf -c 10.128.3.99 -P 20 -t 60 -i 2
iperf -c 10.133.47.60 -t 10 -P 5

万兆结果
[SUM] 0.0-60.0 sec 65.6 GBytes 9.39 Gbits/sec
千兆结果
[SUM] 0.0-61.0 sec 6.58 GBytes 926 Mbits/sec

3)查看网卡具体信息是否和采购一致（可选）

lspci |grep -i ‘eth’

5.测试磁盘速度（可选）

1) 写

[root@brqhchb1 log]# time dd if=/dev/zero of=/data01/test1 conv=fdatasync bs=64k count=4000k
4096000+0 records in
4096000+0 records out
268435456000 bytes (268 GB) copied, 1550.13 s, 173 MB/s

real 25m50.127s
user 0m0.915s
sys 3m40.240s
[root@brqhchb1 log]# ll -h /data01/test1 
-rw-r--r-- 1 root root 250G Nov 8 18:13 /data01/test1

随着写入文件的越来越大，性能值越来越准确。

2)读

[root@brqhchb1 log]# time dd if=/dev/sdb of=/dev/null bs=64k count=327680
3276800+0 records in
3276800+0 records