先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
根据上篇博客 操作,再添加一台haproxy服务器做(备用)边缘服务器,部署keepalived。
1,关闭防火墙
2,安装依赖环境
[root@haproxy ~]#yum -y install pcre-devel zlib-devel gcc gcc-c++ make
3,编译安装haproxy
tar zxvf haproxy-1.6.9.tar.gz #解压安装包
cd haproxy-1.6.9/ #进入解压目录
make TARGET=linux2628 ARCH=x86_64 #进行编译
(TARGET=linux2628 表示内核版本,使用uname -r查看内核,如:2.6.18-371.el5,此时该参数用TARGET=linux26;kernel大于2.6.28的用TARGET=linux2628)
(ARCH=x86_64 系统位数,现在基本都是64位)
make install # 安
4,haproxy服务配置文件修改
[root@kya haproxy-1.5.19]#mkdir /etc/haproxy
[root@kya haproxy-1.5.19]#cp /opt/haproxy-1.5.19/examples/haproxy.cfg /etc/haproxy/
[root@kya haproxy-1.5.19]#cd /etc/haproxy/
[root@kya haproxy]#ls
haproxy.cfg
删除将原来的listen配置项,添加新配置:
listen webcluster 0.0.0.0:80
option httpchk GET /index.html
balance roundrobin
server nginx1 192.168.135.90:80 check inter 2000 fall 3
server nginx2 192.168.135.91:80 check inter 2000 fall 3
5,添加haproxy系统服务
cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
chmod +x /etc/init.d/haproxy
chkconfig --add /etc/init.d/haproxyln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
service haproxy start 或 /etc/init.d/haproxy start //如果ningx服务器未部署会提示找不到web服务器,可以等web部署完后再开启haproxy
systemctl stop firewalld
setenforce 0
yum -y install gcc gcc-c++ make pcre-devel bzip2-devel
tar zxvf haproxy-1.6.9.tar.gz
cd haproxy-1.6.9/
make TARGET=linux2628 ARCH=x86_64 #进行编译
make install
mkdir /etc/haproxy #创建haproxy目录
cp examples/haproxy.cfg /etc/haproxy/ #将软件包中的配置文件模板复制到haproxy目录中
cd
vim /etc/haproxy/haproxy.cfg #修改haproxy.cfg配置参数
下面两项前面加上注释
#chroot /usr/share/haproxy #固有目录,可注释掉
#redispatch #当使用了cookie时,haproxy将会将其请求的后端服务器的serverID插入到cookie中,以保证会话的SESSION持久性;而此时,如果后端的服务器宕掉了,但是客户端的cookie是不会刷新的,如果设置此参数,将会将客户的请求强制定向到另外一个后端server上,以保证服务的正常。需要注释掉
删除将原来的listen配置项,添加新配置:
listen webcluster 0.0.0.0:80
option httpchk GET /index.html
balance roundrobin
server nginx1 192.168.135.90:80 check inter 2000 fall 3
server nginx2 192.168.135.91:80 check inter 2000 fall 3
优化服务启动:
cp haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy
vi /etc/init.d/haproxy
修改:
# chkconfig: 35 85 15
chmod 755 /etc/init.d/haproxy
chkconfig --add /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
systemctl start haproxy
2.keepalived配置
yum -y install gcc gcc-c++ make popt-devel kernel-devel openssl-devel
yum -y install keepalived
cp keepalived/etc/init.d/keepalived /etc/init.d ###加入系统管理服务
systemctl enable keepalived.service ###设置开机自启动
vi /etc/keepalived/keepalived.conf ###编辑配置文件删除原有配置,重新添加:
! Configuration File for keepalived
global_defs { #全局参数
router_id LVS_01 #指定名称,各个服务器名称要不一样
}
vrrp_instance VI_1 { #指定vrrp热备参数
state MASTER #服务器角色是master,备份服务器设置为BACKUP
interface ens33 #修改物理网卡名称,默认是centos6的eth0
virtual_router_id 10 #组号相同
priority 150 #优先级,主服务器设置要大于备服务器
advert_int 1
authentication {
auth_type PASS #验证类型和密码,不建议修改
auth_pass 123
}
virtual_ipaddress {
192.168.135.100 #漂移地址(VIP)地址,可以有多个
}
}[root@haproxy2 ~]# systemctl start keepalived
[root@haproxy2 ~]# ip addr
yum -y install gcc gcc-c++ make popt-devel kernel-devel openssl-devel
yum -y install keepalived
vim /etc/keepalived/keepalived.conf
删除原有配置,重新添加
! Configuration File for keepalived
global_defs { #全局参数
router_id LVS_01 #指定名称,各个服务器名称要不一样
}
vrrp_instance VI_1 { #指定vrrp热备参数
state MASTER #服务器角色是master,备份服务器设置为BACKUP
interface ens33 #修改物理网卡名称,默认是centos6的eth0
virtual_router_id 10 #组号相同
priority 150 #优先级,主服务器设置要大于备服务器
advert_int 1
authentication {
auth_type PASS #验证类型和密码,不建议修改
auth_pass 123
}
virtual_ipaddress {
192.168.135.100 #漂移地址(VIP)地址,可以有多个
}
}
二,备用服务器(haproxy)
1,haproxy配置(和主服务器相同)
systemctl stop firewalld
setenforce 0
yum -y install gcc gcc-c++ make pcre-devel bzip2-devel
tar zxvf haproxy-1.6.9.tar.gz
cd haproxy-1.6.9/
make TARGET=linux2628 ARCH=x86_64 #进行编译
make installmkdir /etc/haproxy #创建haproxy目录
cp examples/haproxy.cfg /etc/haproxy/ #将软件包中的配置文件模板复制到haproxy目录中
cd
vim /etc/haproxy/haproxy.cfg #修改haproxy.cfg配置参数下面两项前面加上注释
#chroot /usr/share/haproxy #固有目录,可注释掉
#redispatch #当使用了cookie时,haproxy将会将其请求的后端服务器的serverID插入到cookie中,以保证会话的SESSION持久性;而此时,如果后端的服务器宕掉了,但是客户端的cookie是不会刷新的,如果设置此参数,将会将客户的请求强制定向到另外一个后端server上,以保证服务的正常。需要注释掉删除将原来的listen配置项,添加新配置:
listen webcluster 0.0.0.0:80
option httpchk GET /index.html
balance roundrobin
server nginx1 192.168.135.90:80 check inter 2000 fall 3
server nginx2 192.168.135.91:80 check inter 2000 fall 3优化服务启动:
cp haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy
vi /etc/init.d/haproxy修改:
chkconfig: 35 85 15
chmod 755 /etc/init.d/haproxy
chkconfig --add /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
systemctl start haproxy
前面已经做过直接看keepalived配置
2,keepalived配置
yum -y install gcc gcc-c++ make popt-devel kernel-devel openssl-devel
yum -y install keepalived
cp keepalived/etc/init.d/keepalived /etc/init.d ###加入系统管理服务
systemctl enable keepalived.service ###设置开机自启动
vi /etc/keepalived/keepalived.conf ###编辑配置文件
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
e keepalived.service ###设置开机自启动
vi /etc/keepalived/keepalived.conf ###编辑配置文件
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-WDL5d8gV-1713289812797)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!