先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
yum install -y wget unzip gcc gcc-c++ ntp git make mlocalte mlocate psmisc iotop net-tools lsof vim screen iotop mtr sysstat dmidecode lrzsz socat
#### 2. 部署JDK1.8
创建用于存储安装包的目录
mkdir /root/soft
cd /root/soft
此文件为jdk安装,rz为上传,也可手动上传。
rz jdk-8u261-linux-x64.tar.gz
上述文件提取链接,链接: https://pan.baidu.com/s/1bvHDSAezvxCF6D6pCYnDBg 提取码: qw8k
tar zxf jdk-8u261-linux-x64.tar.gz -C /usr/local/
chown -R root.root /usr/local/jdk1.8.0_261
设置环境变量
vim /etc/profile
#写入内容如下:
JAVA_HOME=/usr/local/jdk1.8.0_261
PATH=
P
A
T
H
:
PATH:
PATH:JAVA_HOME/bin:
J
A
V
A
_
H
O
M
E
/
j
r
e
/
b
i
n
C
L
A
S
S
P
A
T
H
=
.
:
JAVA\_HOME/jre/bin CLASSPATH=.:
JAVA_HOME/jre/binCLASSPATH=.:JAVA_HOME/lib:
J
A
V
A
_
H
O
M
E
/
j
r
e
/
l
i
b
:
JAVA\_HOME/jre/lib:
JAVA_HOME/jre/lib:CLASSPATH
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC JAVA_HOME CLASSPATH
重新加载文件
source /etc/profile
查看java是否存在
java -version
#### 3. 部署Erlang/OTP 23.3.4.4
下载Erlang
wget https://github.com/rabbitmq/erlang-rpm/releases/download/v23.3.4.4/erlang-23.3.4.4-1.el7.x86_64.rpm
上述文件若下载不下可进行提取,链接:https://pan.baidu.com/s/1F940ybqa8x2Enc5djZ_ntw 提取码: v5r3
rpm -ivh erlang-23.3.4.4-1.el7.x86_64.rpm
#### 4. 部署单机版rabbitmq3.8.19及相关插件
下载rabbitmq
wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.8.19/rabbitmq-server-3.8.19-1.el7.noarch.rpm
上述文件若下载不下可进行提取,链接: https://pan.baidu.com/s/16_eeTzSDrWCmeE-XnBiMTQ 提取码: at82
rpm -ivh rabbitmq-server-3.8.19-1.el7.noarch.rpm
##启用rabbitmq_delayed_message_exchange插件,实现延迟队列:
cd /usr/lib/rabbitmq/lib/rabbitmq_server-3.8.19/plugins
wget https://github.com/rabbitmq/rabbitmq-delayed-message-exchange/releases/download/v3.8.0/rabbitmq_delayed_message_exchange-3.8.0.ez
上述文件若下载不下可进行提取,链接: https://pan.baidu.com/s/1MxOkSEXsQDUJ3d0KaphvIw 提取码: ae3f
rabbitmq-plugins enable rabbitmq_delayed_message_exchange
##启用rabbitmq_management管理插件:
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins list
##设置开机启动:
systemctl enable rabbitmq-server
systemctl list-unit-files|grep rabbit
systemctl restart rabbitmq-server
systemctl status rabbitmq-server
systemctl stop rabbitmq-server
##rabbitmq启动、状态、停止的非systemctl命令:
rabbitmq-server -detached
rabbitmqctl status
rabbitmqctl stop
**注:1-4步每台服务器均需操作**
#### 5. 配置rabbitmq集群
5.1. 选取某IP为主节点,读取其cookie,并复制到其他节点(节点之间通过cookie确定相互是否可通信,权限400,只读)举例:目前有172.16.10.1(hostname为mq01-10-1)及172.16.10.2(hostname为mq02-10-2)两台服务器,我们已172.16.10.1为主节点
查看主节点也就是172.16.10.1的cookie
cd /var/lib/rabbitmq/
cat .erlang.cookie
将查看到的内容复制到172.16.10.2的/var/lib/rabbitmq/.erlang.cookie下(直接覆盖)
设置只读权限(每台服务器都需要执行)
chmod 400 .erlang.cookie
查看确认一下权限
ll -a .erlang.cookie
5.2. 各节点依次启动rabbitmq
rabbitmq-server -detached 或者 systemctl restart rabbitmq-server
5.3. 查看各节点和集群的状态:
rabbitmqctl status
rabbitmqctl cluster_status
5.4. 建立集群,以mq01-10-1为主节点
#建立集群之前请先在各个节点的/etc/hosts记录好主机名及IP
#在172.16.10.1中设置
vim /etc/hosts
172.16.10.2 mq02-10-2
#在172.16.10.2中etc/hosts设置
172.16.10.1 mq01-10-1
#在主节点以外的mq02-10-2上执行:
rabbitmqctl stop_app
#显示如下
#-----------------------
#Stopping rabbit application on node rabbit@mq02-10-2 …
#-----------------------
#重置
rabbitmqctl reset
#-----------------------------------
#Resetting node rabbit@mq02-10-2 …
#-----------------------------------
#加入主节点
rabbitmqctl join_cluster rabbit@mq01-10-1
#------------------------------------------------------
#Clustering node rabbit@mq01-10-1 with rabbit@mq01-10-2
#------------------------------------------------------
#启动mq
rabbitmqctl start_app
#----------------------------------
#Starting node rabbit@mq01-10-2 …
#completed with 0 plugins.
#----------------------------------
查看集群状态
rabbitmqctl cluster_status
#---------------------------------------------
#Cluster status of node rabbit@mq02-10-2 …
#Basics
#Cluster name: rabbit@mq02-10-2
#Disk Nodes
#rabbit@mq01-10-1
#rabbit@mq02-10-2
#Running Nodes
#rabbit@mq01-10-1
#rabbit@mq02-10-2
#…
#---------------------------------------------
5.5. 添加后台管理账户(只需一台操作,集群之间同步)
rabbitmqctl add_user xiaosen xiaosen123
#---------
Adding user “xiaosen” …
#--------
#设置该用户为管理员
rabbitmqctl set_user_tags xiaosen administrator
#-------
#Setting tags for user “xiaosen” to [administrator] …
#------
#设置访问权限
rabbitmqctl set_permissions -p / xiaosen “.*” “.*” “.*”
#------
#Setting permissions for user “xiaosen” in vhost “/” …
#-------
#设置镜像模式
rabbitmqctl set_policy ha-all “^” ‘{“ha-mode”:“all”}’
#-----------
#Setting policy “ha-all” for pattern “^” to “{“ha-mode”:“all”}” with priority “0” for vhost “/” …
#------------
#### 6.访问rabbitmq管理平台:http://{ip}:15672 账号密码为5.5设置的
至此集群搭建完成
一些mq的使用命令
当前窗口启动 rabbitmq
rabbitmq-server
后台启动 rabbitmq
rabbitmq-server -detached
停止 rabbitmq
rabbitmqctl stop
查看所有队列
rabbitmqctl list_queues
查看所有虚拟主机
rabbitmqctl list_vhosts
在Erlang VM运行的情况下启动RabbitMQ应用
rabbitmqctl start_app
rabbitmqctl stop_app
查看节点状态
rabbitmqctl status
查看所有可用的插件
rabbitmq-plugins list
启用插件
rabbitmq-plugins enable
停用插件
rabbitmq-plugins disable
添加用户
rabbitmqctl add_user username password
列出所有用户
rabbitmqctl list_users
删除用户
rabbitmqctl delete_user username
清除用户权限
rabbitmqctl clear_permissions -p vhostpath username
列出用户权限
rabbitmqctl list_user_permissions username
修改密码
rabbitmqctl change_password username newpassword
设置用户权限
rabbitmqctl set_permissions -p vhostpath username “.*” “.*” “.*”
创建虚拟主机
rabbitmqctl add_vhost vhostpath
列出虚拟主机上的所有权限
rabbitmqctl list_permissions -p vhostpath
删除虚拟主机
rabbitmqctl delete_vhost vhost vhostpath
移除所有数据,要在 rabbitmqctl stop_app 之后使用
rabbitmqctl reset
---
为了保证rabbitmq的高可用性,我们可以在这基础上部署haproxy及keepalived来保证服务的高可用性
配合阿里云的havip(高可用虚拟IP,设ip为:172.16.100.100)来进行搭建。实现主备切换功能。主宕机了由备来替补
如图:
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/38ecb313eeaf44b59e10a99a9277da77.png#pic_center)
##### 1. 安装haproxy(主及备都需要安装)
yum -y install haproxy keepalived
cd /etc/haproxy/
cp haproxy.cfg haproxy.cfg.old
vim haproxy.cfg
配置如下:
global
log 127.0.0.1 local2 info
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
defaults
mode tcp
log global
option tcplog
option dontlognull
option http-server-close
option redispatch
retries 3
timeout http-request 10s
timeout queue 90s
timeout connect 90s
timeout client 120s
timeout server 120s
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
listen private_monitoring
bind 0.0.0.0:5100
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
3000
listen private_monitoring
bind 0.0.0.0:5100
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-ABPdVIIP-1713698113971)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!