先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
*/
@Bean
public DirectExchange directExchange()
{
return new DirectExchange(DIRECT_EXCHANGE, true, false);
}
/\*\*
* 队列
*/
@Bean
public Queue directQueue()
{
return new Queue(DIRECT_QUEUE, true, false, false, null);
}
/\*\*
* 绑定
*/
@Bean
Binding directBinding(DirectExchange directExchange, Queue directQueue)
{
//将队列和交换机绑定, 并设置用于匹配键:routingKey路由键
return BindingBuilder.bind(directQueue).to(directExchange).with(DIRECT_ROUTING_KEY);
}
/\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*延时队列\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*/
@Bean
public CustomExchange delayExchange()
{
Map<String, Object> args = new HashMap<>();
args.put("x-delayed-type", "direct");
return new CustomExchange(DELAY\_EXCHANGE, "x-delayed-message", true, false, args);
}
@Bean
public Queue delayQueue()
{
Queue queue = new Queue(DELAY\_QUEUE, true);
return queue;
}
@Bean
public Binding delaybinding(Queue delayQueue, CustomExchange delayExchange)
{
return BindingBuilder.bind(delayQueue).to(delayExchange).with(DELAY\_ROUTING\_KEY).noargs();
}
}
下面将讲述创建交换器、创建队列、将交换器和队列进行绑定各种方法
##### (1)创建交换器方法
/\*\*
* Direct交换器
*/
@Bean
public DirectExchange directExchange()
{
/**
* 创建交换器,参数说明:
* String name:交换器名称
* boolean durable:设置是否持久化,默认是 false。durable 设置为 true 表示持久化,反之是非持久化。
* 持久化可以将交换器存盘,在服务器重启的时候不会丢失相关信息。
* boolean autoDelete:设置是否自动删除,为 true 则设置队列为自动删除,
*/
return new DirectExchange(DIRECT_EXCHANGE, true, false);
}
##### (2)创建队列方法
/\*\*
* 队列
*/
@Bean
public Queue directQueue()
{
/**
* 创建队列,参数说明:
* String name:队列名称。
* boolean durable:设置是否持久化,默认是 false。durable 设置为 true 表示持久化,反之是非持久化。
* 持久化的队列会存盘,在服务器重启的时候不会丢失相关信息。
* boolean exclusive:设置是否排他,默认也是 false。为 true 则设置队列为排他。
* boolean autoDelete:设置是否自动删除,为 true 则设置队列为自动删除,
* 当没有生产者或者消费者使用此队列,该队列会自动删除。
* Map<String, Object> arguments:设置队列的其他一些参数。
*/
return new Queue(DIRECT_QUEUE, true, false, false, null);
}
##### (3)绑定方法
/\*\*
* 绑定
*/
@Bean
Binding directBinding(DirectExchange directExchange, Queue directQueue)
{
//将队列和交换机绑定, 并设置用于匹配键:routingKey路由键
return BindingBuilder.bind(directQueue).to(directExchange).with(DIRECT_ROUTING_KEY);
}
##### (4)创建死信交换器、死信队列、绑定关系
@Bean
public CustomExchange delayExchange()
{
Map<String, Object> args = new HashMap<>();
args.put("x-delayed-type", "direct");
return new CustomExchange(DELAY\_EXCHANGE, "x-delayed-message", true, false, args);
}
@Bean
public Queue delayQueue()
{
Queue queue = new Queue(DELAY\_QUEUE, true);
return queue;
}
@Bean
public Binding delaybinding(Queue delayQueue, CustomExchange delayExchange)
{
return BindingBuilder.bind(delayQueue).to(delayExchange).with(DELAY\_ROUTING\_KEY).noargs();
}
##### (5)发送消息方(立即发送JSON格式数据/延迟发送Map格式数据)
###### ①实体类
package com.pjb.entity;
/**
* 用户信息实体类
**/
public class UserInfo
{
private int userId; //用户编号
private String userName; //用户姓名
private String blogUrl; //博客地址
private String blogRemark; //博客信息
//省略getter与setter方法...
}
###### ②service层
package com.pjb.sender;
import com.pjb.entity.UserInfo;
import java.util.Map;
/**
* 用户消息发送服务接口
**/
public interface UserSender
{
/**
* 发送用户信息Json格式数据
* @param userInfo 用户信息实体类
*/
public void sendUserJson(UserInfo userInfo);
/\*\*
* 延时发送用户信息Map格式数据
* @param userMap 用户信息Map
*/
public void sendDelayUserMap(Map userMap);
}
###### ③serviceImpl类
package com.pjb.sender.impl;
import com.pjb.config.RabbitMqConfig;
import com.pjb.entity.UserInfo;
import com.pjb.sender.UserSender;
import org.springframework.amqp.AmqpException;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.core.MessagePostProcessor;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Map;
/**
* 用户消息发送服务类
**/
@Service
public class UserSenderImpl implements UserSender
{
@Autowired
RabbitTemplate rabbitTemplate;
//时间格式
SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
/\*\*
* 发送用户信息Json格式数据
* @param userInfo 用户信息实体类
*/
@Override
public void sendUserJson(UserInfo userInfo)
{
rabbitTemplate.convertAndSend(RabbitMqConfig.DIRECT_EXCHANGE, RabbitMqConfig.DIRECT_ROUTING_KEY, userInfo);
System.out.println("Json格式数据消息发送成功,发送时间:" + dateFormat.format(new Date()));
}
/\*\*
* 延时发送用户信息Map格式数据
* @param userMap 用户信息Map
*/
@Override
public void sendDelayUserMap(Map userMap)
{
rabbitTemplate.convertAndSend(RabbitMqConfig.DELAY_EXCHANGE, RabbitMqConfig.DELAY_ROUTING_KEY, userMap, new MessagePostProcessor()
{
@Override
public Message postProcessMessage(Message message) throws AmqpException
{
//消息延迟5秒
message.getMessageProperties().setHeader(“x-delay”, 5000);
return message;
}
});
System.out.println("Map格式数据消息发送成功,发送时间:" + dateFormat.format(new Date()));
}
}
* 发送消息核心方法:
/\*\*
* 发送消息,参数说明:
* String exchange:交换器名称。
* String routingKey:路由键。
* Object object:发送内容。
*/
rabbitTemplate.convertAndSend(RabbitMqConfig.DIRECT_EXCHANGE, RabbitMqConfig.DIRECT_ROUTING_KEY, userInfo);
### 7.2消息接收端
#### 7.2.1引入依赖
org.springframework.boot spring-boot-starter-amqp
#### 7.2.2yml配置
spring:
项目名称
application:
name: rabbitmq-consumer
RabbitMQ服务配置
rabbitmq:
host: 127.0.0.1
port: 5672
username: guest
password: guest
listener:
simple:
# 重试机制
retry:
enabled: true #是否开启消费者重试
max-attempts: 5 #最大重试次数
initial-interval: 5000ms #重试间隔时间(单位毫秒)
max-interval: 1200000ms #重试最大时间间隔(单位毫秒)
multiplier: 2 #间隔时间乘子,间隔时间*乘子=下一次的间隔时间,最大不能超过设置的最大间隔时间
#### 7.2.3RabbitMQConfig配置类——(非常重要)
package com.pjb.config;
import com.pjb.receiver.impl.AckReceiver;
import org.springframework.amqp.core.AcknowledgeMode;
import org.springframework.amqp.core.Queue;
import org.springframework.amqp.rabbit.connection.CachingConnectionFactory;
import org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* RabbitMQ配置类
* @author pan_junbiao
**/
@Configuration
public class RabbitMqConfig
{
public static final String DIRECT_QUEUE = “direct_queue”; //Direct队列名称
public static final String DELAY_QUEUE = “delay_queue”; //延时队列名称
/\*\*
* 消息接收确认处理类
*/
@Autowired
private AckReceiver ackReceiver;
@Autowired
private CachingConnectionFactory connectionFactory;
/\*\*
* 客户端配置
* 配置手动确认消息、消息接收确认
*/
@Bean
public SimpleMessageListenerContainer simpleMessageListenerContainer()
{
//消费者数量,默认10
int DEFAULT_CONCURRENT = 10;
//每个消费者获取最大投递数量 默认50
int DEFAULT\_PREFETCH\_COUNT = 50;
SimpleMessageListenerContainer container = new SimpleMessageListenerContainer(connectionFactory);
container.setConcurrentConsumers(DEFAULT\_CONCURRENT);
container.setMaxConcurrentConsumers(DEFAULT\_PREFETCH\_COUNT);
// RabbitMQ默认是自动确认,这里改为手动确认消息
container.setAcknowledgeMode(AcknowledgeMode.MANUAL);
//添加队列,可添加多个队列
container.addQueues(new Queue(DIRECT\_QUEUE,true));
container.addQueues(new Queue(DELAY\_QUEUE,true));
//设置消息处理类
container.setMessageListener(ackReceiver);
return container;
}
}
#### 7.2.4统一消息处理类——AckReceiver
package com.pjb.receiver.impl;
import com.pjb.config.RabbitMqConfig;
import com.pjb.receiver.UserReceiver;
import com.rabbitmq.client.Channel;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.listener.api.ChannelAwareMessageListener;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import java.text.SimpleDateFormat;
import java.util.Date;
/**
* 消息接收确认处理类
* 所有的消息,都由该类接收
* @author pan_junbiao
**/
@Service
public class AckReceiver implements ChannelAwareMessageListener
{
/**
* 用户消息接收类
*/
@Autowired
private UserReceiver userReceiver;
@Override
public void onMessage(Message message, Channel channel) throws Exception
{
//时间格式
SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
System.out.println("消息接收成功,接收时间:" + dateFormat.format(new Date()) + "\n");
//获取队列名称
String queueName = message.getMessageProperties().getConsumerQueue();
//接收用户信息Json格式数据
if (queueName.equals(RabbitMqConfig.DIRECT\_QUEUE))
{
userReceiver.receiverUserJson(message, channel);
}
//延时接收用户信息Map格式数据
if (queueName.equals(RabbitMqConfig.DELAY\_QUEUE))
{
userReceiver.receiverDelayUserMap(message, channel);
}
//多个队列的处理,则如上述代码,继续添加方法....
}
}
#### 7.2.5接收消息
package com.pjb.receiver;
import com.rabbitmq.client.Channel;
import org.springframework.amqp.core.Message;
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
erMap(message, channel);
}
//多个队列的处理,则如上述代码,继续添加方法....
}
}
#### 7.2.5接收消息
package com.pjb.receiver;
import com.rabbitmq.client.Channel;
import org.springframework.amqp.core.Message;
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-bwsDJeCz-1713164031019)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!