先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
正文
重启
systemctl restart mysqld
mysql -uroot -pkya123;
进入数据库
mysql> grant replication slave on . to ‘myslave’@‘192.168.135.%’ identified by
‘kya123’;
给从服务器提权，允许使用slave的身份复制master的所以数据库的所以表，并且指定密码为kya123；
mysql> flush privileges;
刷新权限表
查看master数据库状态
mysql> show master status;
±-----------------±---------±-------------±-----------------±------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
±-----------------±---------±-------------±-----------------±------------------+
| mysql-bin.000018 | 604 | | | |
±-----------------±---------±-------------±-----------------±-------------
### 4，从服务器配置文件（192.168.135.192 192.168.135193）
**192.168.135.193**
master_host=‘192.168.135.91’,master_user=‘myslave’,master_password=‘kya123’,master_log_file=‘mysql-bin.000020’,master_log_pos=1306;
**192.168.135.192**
### 5,，验证主从复制的效果
**在master服务器上创建任意一个库**
**在两台从服务器上进行查看，是否可以看到同步来的数据**
**查看两个服务器上slave状态时**
mysql -uroot -pkya123 -e ‘show slave status\G’|grep -i ‘yes’
### 6，从服务器的故障问题解决
1，show slave status\G
这是查看主从复制状态的，命令
主要是查看返回信息中2个YES
2，当2个线程中存在非yes的情况
我们可以先去查了last_io_error,last_sql_error last_error信息，（最近一下报错的日志信息）
3，作为监控点，提权就绪状态，日志文件位置信息的抓取点
4，报错解决依据之一
**如果在查看从服务器上slave状态时，出现no状态的问题，就是执行 show slave status\G,查看的结果，可以如下或者看到各个对应的报错的信息**
#### 1、遇到Slave\_IO\_Running:NO的情况
**分析：可以向下查看对应的报错的信息。**
**先总览看 ：** last\_Error（报错数量） Last\_Error（报错原因）
**再看IO的报错：** Last\_IO\_Errno: 、Last\_IO\_Error: 他们之间的信息
#### 2、遇到Slave\_SQL\_Running：NO的情况
**分析：可以向下查看对应的报错的信息。**
* **先总览看 ：** last\_Error（报错数量） Last\_Error（报错原因） 。
* **再看IO的报错：** Last\_SQL\_Errno: 、Last\_SQL\_Error: 他们之间的信息
#问题:slave_IO_Running:NO
1、网络不通
2、my.cnf配置文件有问题
3、change中配置出错，密码、file文件名、pos偏移量与master不相符
4、防火墙没有关闭
#问题:slave_SQL_Running:NO
1、程序可能在slave上进行了写操作
2、也可能是slave机器重起后，事务回滚造成的.
执行这个：set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
## 四，读写分离原理
**读写分离就是只在主服务器上写，只在从服务器上读，**
**基本的原理就是让主数据库处理事务操作，而从数据库处理select查询，数据库复制被用来把主数据库上的事务性操作导致的变更同步的集群中的从数据库。**
### **1，读写分离存在的意义**
1. **因为数据的“写”（每10000条数据可能要3复制），操作是比较耗时的，**
2. **但是数据库的“读”（读10000条的数据可能只要5秒中）。**
3. **所谓读写分离，解决的是，数据库的写入，影响了查询的效率。**
4. **还可能因为锁表的原因，进行读写分离**
### 2，什么时候进行读写分离
**数据库不一定需要读写分离，如果程序使用数据库交多少，而更新少，查询多的情况下会考虑使用，利用数据库的主从同步，再通过读写分离可以分担数据库的压力，提高性能。**
### 3，主从复制与读写分离
**在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性，高可用性还是高并发等各个方面都不是完全不能满足实际需求的，因此，通过主从复制的方式来同步数据，再通过读写分离来提示数据库的并发负载能力，优点类似于rsync，但是不同的是rsync是对磁盘文件做备份，而mysql主从复制是对数据库中的数据，语句做备份。**
### 4，Mysql读写分离类型
#### 4.1，基于程序代码内部实现
* 在代码中根据select，insert进行分类，**这类方法也是目前生产环境应用最广泛的。**
* **优点是性能较好**，因为在程序代码中实现，不需要增加额外的设备为硬件开支。
* **缺点**，要开发人员来实现，运维人员无从下手
* **但是并不是所以应用都适合在程序代码中实现读写分离，像一些大型的java应用，如果在程序代码中实现读写分离对代码的改动就很大。**
#### 4.2 基于中间代理层来实现
代理一般位于客户端和服务器之间，代理服务器接受到客户端请求后通过判断后转发到后端数据库，
**有以下代表程序**
**1、MySql-Proxy** 、MySql-Proxy为MySQL开源项目，通过其自带的lua脚本进行判断。
**2、Atlas** 是由奇虎360的web平台部基础架构团队开发维护的一个基于mysql协议的数据中间层项目，它是在mysql-proxy0.8.2版本的基础上。对于进行了优化，增加了一些新的功能特性，360内部使用atlas运行mysql业务，每条承受的读写请求数达几十亿条，支持事务以及存储过程。
**3、Amoeba**。 由陈思儒开发，作者曾就职于阿里巴巴，该程序由java语言进行开发，阿里巴巴将其应用于生产环境，但它不支持事务和存储过程。
**Amoeba：是一个以mysql为底层的数据存储，并对应提供mysql协议接口的proxy（代理），外号变形虫**
* 读取请求发送给从服务器是采用轮询调度算法
* amoeba使用的是java语言编写，配置文件为xml
* amoeba主要负责对外的一个代理ip
* 访问这个ip时间，发送的请求为“写”请求，则会转给主服务器
* 当发生请求为“读”时，会通过调度转发给从服务器，使用轮询算法，轮流分配给两台从服务器。
* amoeba可以视为调度器，如果主服务器挂掉（单点故障），则会有HMA解决这个问题
## 五，读写分离实验
**做读写分离必须要做好主从复制的的环境，因为读写分离是基于主从复制的基础上去执行的架构。**
### 1，前期环境
| | |
| --- | --- |
| 服务器名称 | ip地址 |
| 主服务器 | 192.168.135.91 |
| 从服务器 | 192.168.135.193 |
| 从服务器 | 192.168.135.192 |
| Amoeba | 192.168.135.114 |
| 验证 | 192.168.135.90 |
**因为前面的主服务器和两台从服务器在前面主从复制的时候，已经部署好了，现在进行部署Amoeba代理服务器。**
### 2，amoeba服务搭建（192.168.135.113）
关闭防火墙
#### 2.1 JDK环境搭建
**Amoeba服务时基于jdk1.5开发的，所有要使用jdk1.5或jdk1.6的版本，不建议使用高版本**
cp jdk-6u14-linux-x64.bin /usr/local
#将jdk安装包复制到/usr/local目录下
cd /usr/local/
#进入local目录
chmod +x jdk-6u14-linux-x64.bin
#给安装包执行文件
./jdk-6u14-linux-64.bin
#安装jdk(按空格到最后一行，输入yes按回车)
mv jdk1.6.0_14 jdk1.6
#安装好之后在本地目录下生成jdk1.6.0_14目录，将其该名，方便后续操作
vim /etc/profile #编辑全局配置文件
export JAVA_HOME=/usr/local/jdk1.6 #输出定义java的工作目录
export CLASSPATH=
C
L
A
S
S
P
A
T
H
:
CLASSPATH:
CLASSPATH:JAVA_HOME/lib:KaTeX parse error: Expected 'EOF', got '#' at position 19: …A_HOME/jre/lib #̲输出指定的java类文件 ex…JAVA_HOME/lib:
J
A
V
A
H
O
M
E
/
j
r
e
/
b
i
n
/
:
JAVA_HOME/jre/bin/:
JAVAHOME/jre/bin/:PATH:KaTeX parse error: Expected 'EOF', got '#' at position 10: HOME/bin #̲将java加入工作环境 exp…PATH:$AMOEBA_HOME/bin #加入路径环境变量
source /etc/profile
#执行群居配置文件
java -version
#查看java版本信息
### 2.2 安装amoeba
mkdir /usr/local/amoeba
#创建amoeba的安装目录
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba
#将amoeba的安装包解压到/usr/local/amoeba目录中
chmod -R 775 /usr/local/amoeba
#给amoeba目录所有的权限
/usr/local/amoeba/bin/amoeba
#开启amoeba(如果显示amoeba start |stop，则说明完成)
### 2.3 将三台mysql主从服务器设置权限
**因为amoeba需要登录到三台mysql服务器进行读写，所以需要在三台服务器上进行授权。**
grant all on . to ‘amoeba’@‘192.168.135.%’ identified by ‘kya123’
### 2.4 修改主配置文件-amoebr.xml
cd /usr/local/amoeba/conf
#进入配置文件
cp amoeba.xml amoeba.xml.bak
#备份实现读写分离的文件
vim amoeba.xml #进行修改配置(全局配置文件信息)
30行 amoeba
#客户端访问amoeba使用的账号
32行 123456
#这里是数据库访问amoeba服务器时使用账号时登录的密码
115行 master
#修改默认池
118行 master
#设置数据库写的池
129行 slaves
#设置数据库读的池
小结：amoeba.xml定义的是
用户通过amoeba访问数据库时“登录amoeba代理的账户，密码”。
定义amoeba代理的“读池”和“写池”的名称(读是:slaves，写是:master)
#注意:这是第一个账户:定义的是client登录使用amoeba
### 2.5 修改数据库配置文件-dbServers.xml
cp dbServers.xml dbServer.xml.bak
#备份数据库配置文件
vim dbServers.xml
#23行 作用：注释！默认进入test库 以防mysql中没有test库时，会报错
#26修改 作用：访问mysql的账号
amoeba
#28-30去掉注释 作用：访问mysql的密码
kya123
#45修改，设置主服务器的名Master，作用：后端数据的一个节点名称
#48修改，设置主服务器的地址
192.168.135.91
#52修改，设置从服务器1的名slave1
#55修改，设置从服务器1的地址
192.168.135.192
#58 复制上面6行粘贴(52开始复制)，设置从服务器2的名slave2和地址
192.168.135.193
#65修改，作用：定义从服务器的池，因为有多个从服务器，主服务器不用，因为只有一个
#71修改，作用：定义具体的从服务器的地址池的名称，跟52和58行要一致
slave1,slave2
#67行 ，作用，定义了三种不同的分流模式，68行按序号选择模式
1、轮序模式，2、提权模式，3、高可用模式
#小结：dbServers.xml 主要定义了：
amoeba访问mysql数据库的用户和密码
定义了后端的mysql服务器具有的角色及其地址
定义了read poll读池有哪些。
### 2.6 启动amoeba服务
/usr/local/amoeba/bin/amoeba start &
netstart -natp |grep java
netstart -natp |grep 8066
## **六，验证**
**验证（192.168.135.194）**
### 3.1 验证写入是否从master主机写入
#验证的目结果：主要为了验证从客户端登录可以进行可以写入数据到数据库中，而且是通过master服务器写入的。
**去master和两台slave上查看是否可以看到创建的表**
### 3.2 测试是否读写分离
测试目的结果：主要验证写是靠matser写入数据，而读取数据时靠两台从服务器(slave)进行读取
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
g-blog.csdnimg.cn/54b620863fc64ec78a08f9471ee18af2.png)
3.2 测试是否读写分离
测试目的结果：主要验证写是靠matser写入数据，而读取数据时靠两台从服务器(slave)进行读取
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-mDr4Fp3y-1713311181604)]
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
扫一扫
756
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
