Centos优化Hadoop_linux优化hadoop(1)

最新推荐文章于 2024-06-11 03:16:55 发布

程序员李菲

最新推荐文章于 2024-06-11 03:16:55 发布

阅读量885

点赞数 10

分类专栏： 2024年程序员学习文章标签：运维 linux 面试

本文链接：https://blog.csdn.net/m0_46608024/article/details/138878580

版权

2024年程序员学习专栏收录该内容

188 篇文章 2 订阅

订阅专栏

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

给大家整理的电子书资料：

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

图 1-2 自定义安装包组选择界面I

1.1 根据经验，选择安装包时应该按最小化原则，即不需要的或者不确定是否需要的就不安装，这样可以最大程度上确保系统安全。

1.2 如果安装过程落了部分包组或者其他伙伴安装时没选

安装后可以按如下方式补上安装时未安装的包组：

yum groupinstall "Compatibility libraries" "Base" "Development tools"
yum groupinstall "debugging Tools" "Dial-up Networking Support"

可以通过 yum groupinfo 包组查看具体安装的组件。

1.3 下面安装 6.7 后登陆系统的时候查看选包的情况

yum grouplist:
Installed Groups:
Base
Compatibility libraries
Debugging Tools
Development tools
E-mail server
Graphical Administration Tools
Hardware monitoring utilities
Legacy UNIX compatibility
Networking Tools
Performance Tools
Perl Support
Scientific support
Security Tools

可以看到除了我们选择的外，系统还是默认安装了一些必须的软件包组。

2、网络设置

[root@centos ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE=eth0
HWADDR=00:0C:29:6D:58:E4
TYPE=Ethernet
UUID=5236fdbb-76ee-4f98-90cf-6bed4fb62661
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.2.200
GATEWAY=192.168.2.1
NETMASK=255.255.255.0

3、Linux系统优化 Supper Hadoop

3.1 环境检查

3.1.1 操作系统

	
# cat /etc/redhat-release 
CentOS release 6.6 (Final)

3.1.2 所有主机能够相互ping通

3.1.3 linux内核版本

# uname -r
2.6.32-504.el6.x86_64

3.2 添加安装集群用户&&关闭selinux&&修改Linux启动级别为3

useradd hadoop
echo "hadoop123"|passwd --stdin hadoop
yum grouplist
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0
grep SELINUX=disabled /etc/selinux/config
grep id:3:initdefault: /etc/inittab

3.3 优化开机自动启动服务&&增大文件描述符(Hadoop并行读取数据文件)&&sudo权限管理

chkconfig --list|grep 3:on |wc –l
chkconfig --list|grep 3:on | cut -d " " -f1  
for name in `chkconfig --list|grep 3:on | cut -d " " -f1` ;do chkconfig $name off;done
chkconfig --list|grep 3:on

#如果系统基于lvm逻辑卷管理需要开启lvm2-monitor blk-availability两个服务
for name in crond ntpd lvm2-monitor blk-availability network rsyslog sshd;do chkconfig $name on;done

iptables -L -n
/etc/init.d/iptables stop
iptables -L -n
chkconfig --list|grep iptables
echo 'hadoop  ALL=(ALL)       NOPASSWD: ALL' >> /etc/sudoers

echo '* - nofile 65535' >>  /etc/security/limits.conf
tail -1  /etc/security/limits.conf

3.4 配置ntp服务器，让所有服务器时间保持一致，如果是非内网服务器可以直接安装启动ntp

yum install htpd -y
/etc/init.d/ntpd start
chkconfig ntpd on

$ ntpq –p  #公网自动时间同步

如果是内网服务器，需要配置一台ntp服务器，所有服务器到ntp服务器定期同步时间，内网ntp服务器配置：

vim /etc/ntp.conf
restrict default ignore   //默认不允许修改或者查询ntp,并且不接收特殊封包
restrict 127.0.0.1        //给于本机所有权限
restrict 192.168.2.0 mask 255.255.255.0 notrap nomodify  //给于局域网机的机器有同步时间的权限
server  192.168.2.124   # local clock
driftfile /var/lib/ntp/drift
fudge   127.127.1.0 stratum 10

ntpq -p 查询网络中的NTP服务器：

$ ntpq –p

所有机器服务器需要和ntp服务时间保持一致：

$ ntpdate 192.168.1.124 #刚刚配置好ntp服务器,大概需要5min后才能正常提供服务;报错"no server suitable for synchronization found"

所有大数据服务器设置cron同步ntp服务器时间：

$ crontab -l
00 1 * * * root /usr/sbin/ntpdate 192.168.1.124 >> /root/ntpdate.log 2>&1

3.5 关闭防火墙

/etc/init.d/iptables status
/etc/init.d/iptables stop
chkconfig iptables off

3.6 关闭Swap

swapoff -a

3.7 Linux overcommit-memory

echo 0 > /proc/sys/vm/overcommit_memory

3.8 所有主机做好hosts ip映射&&repo文件

# tail -6 /etc/hosts
192.168.1.124 apache-server archive.cloudera.com archive-primary.cloudera.com

192.168.1.201   server1
192.168.1.202   server2
192.168.1.203   server3
192.168.1.204   server4

所有主机同步hosts文件一致

为了做好运维面试路上的助攻手，特整理了上百道 【运维技术栈面试题集锦】 ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。