源码分析RocketMQ ACL实现机制(1)

2401_84048416

于 2024-04-22 10:01:42 发布

阅读量239

点赞数 3

分类专栏：程序员文章标签： java-rocketmq rocketmq java

本文链接：https://blog.csdn.net/2401_84048416/article/details/138063642

版权

程序员专栏收录该内容

259 篇文章 0 订阅

订阅专栏

}

Step1：首先创建PlainAccessResource，从远程地址中提取出远程访问IP地址。

if (request.getExtFields() == null) {

throw new AclException(“request’s extFields value is null”);

}

accessResource.setRequestCode(request.getCode());

accessResource.setAccessKey(request.getExtFields().get(SessionCredentials.ACCESS_KEY));

accessResource.setSignature(request.getExtFields().get(SessionCredentials.SIGNATURE));

accessResource.setSecretToken(request.getExtFields().get(SessionCredentials.SECURITY_TOKEN));

Step2：如果请求头中的扩展字段为空，则抛出异常，如果不为空，则从请求头中读取requestCode、accessKey(请求用户名)、签名字符串(signature)、secretToken。

try {

switch (request.getCode()) {

case RequestCode.SEND_MESSAGE:

accessResource.addResourceAndPerm(request.getExtFields().get(“topic”), Permission.PUB);

break;

case RequestCode.SEND_MESSAGE_V2:

accessResource.addResourceAndPerm(request.getExtFields().get(“b”), Permission.PUB);

break;

case RequestCode.CONSUMER_SEND_MSG_BACK:

accessResource.addResourceAndPerm(request.getExtFields().get(“originTopic”), Permission.PUB);

accessResource.addResourceAndPerm(getRetryTopic(request.getExtFields().get(“group”)), Permission.SUB);

break;

case RequestCode.PULL_MESSAGE:

accessResource.addResourceAndPerm(request.getExtFields().get(“topic”), Permission.SUB);

accessResource.addResourceAndPerm(getRetryTopic(request.getExtFields().get(“consumerGroup”)), Permission.SUB);

break;

case RequestCode.QUERY_MESSAGE:

accessResource.addResourceAndPerm(request.getExtFields().get(“topic”), Permission.SUB);

break;

case RequestCode.HEART_BEAT:

HeartbeatData heartbeatData = HeartbeatData.decode(request.getBody(), HeartbeatData.class);

for (ConsumerData data : heartbeatData.getConsumerDataSet()) {

accessResource.addResourceAndPerm(getRetryTopic(data.getGroupName()), Permission.SUB);

for (SubscriptionData subscriptionData : data.getSubscriptionDataSet()) {

accessResource.addResourceAndPerm(subscriptionData.getTopic(), Permission.SUB);

}

break;

case RequestCode.UNREGISTER_CLIENT:

final UnregisterClientRequestHeader unregisterClientRequestHeader =

(UnregisterClientRequestHeader) request

.decodeCommandCustomHeader(UnregisterClientRequestHeader.class);

accessResource.addResourceAndPerm(getRetryTopic(unregisterClientRequestHeader.getConsumerGroup()), Permission.SUB);

break;

case RequestCode.GET_CONSUMER_LIST_BY_GROUP:

final GetConsumerListByGroupRequestHeader getConsumerListByGroupRequestHeader =

(GetConsumerListByGroupRequestHeader) request

.decodeCommandCustomHeader(GetConsumerListByGroupRequestHeader.class);

accessResource.addResourceAndPerm(getRetryTopic(getConsumerListByGroupRequestHeader.getConsumerGroup()), Permission.SUB);

break;

case RequestCode.UPDATE_CONSUMER_OFFSET:

final UpdateConsumerOffsetRequestHeader updateConsumerOffsetRequestHeader =

(UpdateConsumerOffsetRequestHeader) request

.decodeCommandCustomHeader(UpdateConsumerOffsetRequestHeader.class);

accessResource.addResourceAndPerm(getRetryTopic(updateConsumerOffsetRequestHeader.getConsumerGroup()), Permission.SUB);

accessResource.addResourceAndPerm(updateConsumerOffsetRequestHeader.getTopic(), Permission.SUB);

break;

default:

break;

}

} catch (Throwable t) {

throw new AclException(t.getMessage(), t);

}

Step3：根据请求命令，设置本次请求需要拥有的权限，上述代码比较简单，就是从请求中得出本次操作的Topic、消息组名称，为了方便区分topic与消费组，消费组使用消费者对应的重试主题，当成资源的Key，从这里也可以看出，当前版本需要进行ACL权限验证的请求命令如下：

SEND_MESSAGE
SEND_MESSAGE_V2
CONSUMER_SEND_MSG_BACK
PULL_MESSAGE
QUERY_MESSAGE
HEART_BEAT
UNREGISTER_CLIENT
GET_CONSUMER_LIST_BY_GROUP
UPDATE_CONSUMER_OFFSET

// Content

SortedMap<String, String> map = new TreeMap<String, String>();

for (Map.Entry<String, String> entry : request.getExtFields().entrySet()) {

if (!SessionCredentials.SIGNATURE.equals(entry.getKey())) {

map.put(entry.getKey(), entry.getValue());

}

accessResource.setContent(AclUtils.combineRequestContent(request, map));

return accessResource;

Step4：对扩展字段进行排序，便于生成签名字符串，然后将扩展字段与请求体(body)写入content字段。完成从请求头中解析出本次请求需要验证的权限。

2.4 validate 方法

public void validate(AccessResource accessResource) {

aclPlugEngine.validate((PlainAccessResource) accessResource);

}

验证权限，即根据本次请求需要的权限与当前用户所拥有的权限进行对比，如果符合，则正常执行；否则抛出AclException。

为了揭开配置文件的解析与验证，我们将目光投入到PlainPermissionLoader。

3、PlainPermissionLoader

该类的主要职责：加载权限，即解析acl主要配置文件plain_acl.yml。

3.1 类图

在这里插入图片描述

下面对其核心属性与核心方法一一介绍：

DEFAULT_PLAIN_ACL_FILE

默认acl配置文件名称，默认值为conf/plain_acl.yml。

String fileName

acl配置文件名称，默认为DEFAULT_PLAIN_ACL_FILE ,可以通过系统参数-Drocketmq.acl.plain.file=fileName指定。

Map<String, PlainAccessResource> plainAccessResourceMap

解析出来的权限配置映射表，以用户名为键。

RemoteAddressStrategyFactory remoteAddressStrategyFactory

远程IP解析策略工厂，用于解析白名单IP地址。

boolean isWatchStart

是否开启了文件监听，即自动监听plain_acl.yml文件，一旦该文件改变，可在不重启服务器的情况下自动生效。

public PlainPermissionLoader()

构造方法。

public void load()

加载配置文件。

public void validate(PlainAccessResource plainAccessResource)

验证是否有权限访问待访问资源。

3.2 PlainPermissionLoader构造方法

public PlainPermissionLoader() {

load();

watch();

}

在构造方法中调用load与watch方法。

3.3 load

Map<String, PlainAccessResource> plainAccessResourceMap = new HashMap<>();

List globalWhiteRemoteAddressStrategy = new ArrayList<>();

String path = fileHome + File.separator + fileName;

JSONObject plainAclConfData = AclUtils.getYamlDataObject(path,JSONObject.class);

Step1：初始化plainAccessResourceMap(用户配置的访问资源，即权限容器)、globalWhiteRemoteAddressStrategy：全局IP白名单访问策略。配置文件，默认为${ROCKETMQ_HOME}/conf/plain_acl.yml。

JSONArray globalWhiteRemoteAddressesList = plainAclConfData.getJSONArray(“globalWhiteRemoteAddresses”);

if (globalWhiteRemoteAddressesList != null && !globalWhiteRemoteAddressesList.isEmpty()) {

for (int i = 0; i < globalWhiteRemoteAddressesList.size(); i++) {

globalWhiteRemoteAddressStrategy.add(remoteAddressStrategyFactory.

getRemoteAddressStrategy(globalWhiteRemoteAddressesList.getString(i)));

}

Step2：globalWhiteRemoteAddresses：全局白名单，类型为数组。根据配置的规则，使用remoteAddressStrategyFactory获取一个访问策略，下文会重点介绍其配置规则。

JSONArray accounts = plainAclConfData.getJSONArray(“accounts”);

if (accounts != null && !accounts.isEmpty()) {

List plainAccessConfigList = accounts.toJavaList(PlainAccessConfig.class);

for (PlainAccessConfig plainAccessConfig : plainAccessConfigList) {

PlainAccessResource plainAccessResource = buildPlainAccessResource(plainAccessConfig);

plainAccessResourceMap.put(plainAccessResource.getAccessKey(),plainAccessResource);

}

this.globalWhiteRemoteAddressStrategy = globalWhiteRemoteAddressStrategy;

this.plainAccessResourceMap = plainAccessResourceMap;

Step3：解析plain_acl.yml文件中的另外一个根元素accounts，用户定义的权限信息。从PlainAccessConfig的定义来看，accounts标签下支持如下标签：

accessKey
secretKey
whiteRemoteAddress
admin
defaultTopicPerm
defaultGroupPerm
topicPerms
groupPerms

上述标签的说明，请参考：:《RocketMQ ACL使用指南》。具体的解析过程比较容易，就不再细说。

load方法主要完成acl配置文件的解析，将用户定义的权限加载到内存中。

3.4 watch

private void watch() {

try {

String watchFilePath = fileHome + fileName;

FileWatchService fileWatchService = new FileWatchService(new String[] {watchFilePath}, new FileWatchService.Listener() {

@Override

public void onChanged(String path) {

log.info(“The plain acl yml changed, reload the context”);

load();

}

});

fileWatchService.start();

log.info(“Succeed to start AclWatcherService”);

this.isWatchStart = true;

} catch (Exception e) {

log.error(“Failed to start AclWatcherService”, e);

}

监听器，默认以500ms的频率判断文件的内容是否变化。在文件内容发生变化后调用load()方法，重新加载配置文件。那FileWatchService是如何判断两个文件的内容发生了变化呢？

FileWatchService#hash

private String hash(String filePath) throws IOException, NoSuchAlgorithmException {

Path path = Paths.get(filePath);

md.update(Files.readAllBytes(path));

byte[] hash = md.digest();

return UtilAll.bytes2string(hash);

}

获取文件md5签名来做对比，这里为什么不在启动时先记录上一次文件的修改时间，然后先判断其修改时间是否变化，再判断其内容是否真正发生变化。

3.5 validate

// Check the global white remote addr

for (RemoteAddressStrategy remoteAddressStrategy : globalWhiteRemoteAddressStrategy) {

if (remoteAddressStrategy.match(plainAccessResource)) {

return;

}

Step1：首先使用全局白名单对资源进行验证，只要一个规则匹配，则返回，表示认证成功。

if (plainAccessResource.getAccessKey() == null) {

throw new AclException(String.format(“No accessKey is configured”));

}

if (!plainAccessResourceMap.containsKey(plainAccessResource.getAccessKey())) {

throw new AclException(String.format(“No acl config for %s”, plainAccessResource.getAccessKey()));

}

Step2：如果请求信息中，没有设置用户名，则抛出未配置AccessKey异常；如果Broker中并为配置该用户的配置信息，则抛出AclException。

// Check the white addr for accesskey

PlainAccessResource ownedAccess = plainAccessResourceMap.get(plainAccessResource.getAccessKey());

if (ownedAccess.getRemoteAddressStrategy().match(plainAccessResource)) {

return;

}

Step3：如果用户配置的白名单与待访问资源规则匹配的话，则直接发认证通过。

// Check the signature

String signature = AclUtils.calSignature(plainAccessResource.getContent(), ownedAccess.getSecretKey());

if (!signature.equals(plainAccessResource.getSignature())) {

throw new AclException(String.format(“Check signature failed for accessKey=%s”, plainAccessResource.getAccessKey()));

}

Step4：验证签名。

checkPerm(plainAccessResource, ownedAccess);

Step5：调用checkPerm方法，验证需要的权限与拥有的权限是否匹配。

3.5.1 checkPerm

if (Permission.needAdminPerm(needCheckedAccess.getRequestCode()) && !ownedAccess.isAdmin()) {

throw new AclException(String.format(“Need admin permission for request code=%d, but accessKey=%s is not”, needCheckedAccess.getRequestCode(), ownedAccess.getAccessKey()));

}

Step6：如果当前的请求命令属于必须是Admin用户才能访问的权限，并且当前用户并不是管理员角色，则抛出异常，如下命令需要admin角色才能进行的操作：

Map<String, Byte> needCheckedPermMap = needCheckedAccess.getResourcePermMap();

Map<String, Byte> ownedPermMap = ownedAccess.getResourcePermMap();

if (needCheckedPermMap == null) {

// If the needCheckedPermMap is null,then return

return;

}

if (ownedPermMap == null && ownedAccess.isAdmin()) {

// If the ownedPermMap is null and it is an admin user, then return

return;

}

Step7：如果该请求不需要进行权限验证，则通过认证，如果当前用户的角色是管理员，并且没有配置用户权限，则认证通过，返回。

for (Map.Entry<String, Byte> needCheckedEntry : needCheckedPermMap.entrySet()) {

String resource = needCheckedEntry.getKey();

Byte neededPerm = needCheckedEntry.getValue();

boolean isGroup = PlainAccessResource.isRetryTopic(resource);

if (ownedPermMap == null || !ownedPermMap.containsKey(resource)) {

// Check the default perm

byte ownedPerm = isGroup ? ownedAccess.getDefaultGroupPerm() : ownedAccess.getDefaultTopicPerm();

if (!Permission.checkPermission(neededPerm, ownedPerm)) {

throw new AclException(String.format(“No default permission for %s”, PlainAccessResource.printStr(resource, isGroup)));

}

continue;

}

if (!Permission.checkPermission(neededPerm, ownedPermMap.get(resource))) {

throw new AclException(String.format(“No default permission for %s”, PlainAccessResource.printStr(resource, isGroup)));

}

Step8：遍历需要权限与拥有的权限进行对比，如果配置对应的权限，则判断是否匹配；如果未配置权限，则判断默认权限时是否允许，不允许，则抛出AclException。

验证逻辑就介绍到这里了，下面给出其匹配流程图：

在这里插入图片描述

上述阐述了从Broker服务器启动、加载acl配置文件流程、动态监听配置文件、服务端权限验证流程，接下来我们看一下客户端关于ACL需要处理的事情。

4、AclClientRPCHook

回顾一下，我们引入ACL机制后，客户端的代码示例如下：

在这里插入图片描述

其在创建DefaultMQProducer时，注册AclClientRPCHook钩子，会在向服务端发送远程命令前后执行其钩子函数，接下来我们重点分析一下AclClientRPCHook。

4.1 doBeforeRequest

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

每年转战互联网行业的人很多，说白了也是冲着高薪去的，不管你是即将步入这个行业还是想转行，学习是必不可少的。作为一个Java开发，学习成了日常生活的一部分，不学习你就会被这个行业淘汰，这也是这个行业残酷的现实。

如果你对Java感兴趣，想要转行改变自己，那就要趁着机遇行动起来。或许，这份限量版的Java零基础宝典能够对你有所帮助。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
)]

[外链图片转存中…(img-rQoHW9w9-1713751287548)]

[外链图片转存中…(img-iU3UrFiE-1713751287549)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

如果你对Java感兴趣，想要转行改变自己，那就要趁着机遇行动起来。或许，这份限量版的Java零基础宝典能够对你有所帮助。

[外链图片转存中…(img-rRDD4Iv1-1713751287549)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

2401_84048416

关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
源码分析RocketMQ ACL实现机制(1)

每年转战互联网行业的人很多，说白了也是冲着高薪去的，不管你是即将步入这个行业还是想转行，学习是必不可少的。作为一个Java开发，学习成了日常生活的一部分，不学习你就会被这个行业淘汰，这也是这个行业残酷的现实。如果你对Java感兴趣，想要转行改变自己，那就要趁着机遇行动起来。或许，这份限量版的Java零基础宝典能够对你有所帮助。《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！)]
复制链接

扫一扫