生成序列号(幂等)

1、source+唯一序列号构成唯一字段入库

2、借助redis的自增指令实现唯一(incr指令 )

/**
 * 生成唯一流水号借助UUID
 * 还可借助redis或者数据库
 * @author xpzhang
 *
 */
public class IdempotentTest {

    
    public static void main(String[] args) {
    	ArrayList<String> arrayList = new ArrayList<>();
    	for(int i=0;i<10000;i++) {
    		String uniqueIdentifier = getUniqueIdentifier();
    		System.out.println(uniqueIdentifier);
    		arrayList.add(uniqueIdentifier);
    	}
    	
    	int size = arrayList.stream().distinct().collect(Collectors.toList()).size();
    	System.out.println(size+"==?"+arrayList.size());
    }
    /**
     * 获取全局流水号
     * @return prefix +yyMMDD+0123
     */
    public static String getUniqueIdentifier() {
    	UUID uuid = UUID.randomUUID();
    	// 4位数字
    	String uuidString=uuid.toString().replace("-", "").toUpperCase();
    	// 当前日期 yyyyMMdd 
    	String currentDate = formatDate(new Date());
    	
    	String prefix="AOP";
		return prefix+currentDate+uuidString;
    	
    }
    
    /**
     * 格式化日期
     * @param date
     * @return
     */
    public static String formatDate(Date date){
        String formatDate=null;
        try {
            SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyyMMdd");
            formatDate = simpleDateFormat.format(date);
        } catch (Exception e) {
            //logger.error("时间格式化异常",e);
        }
        return formatDate;
    }
    
    /**
     * String转为Date日期格式
     * @param s
     * @return
     */
    public static Date stringToDate(String s){
        SimpleDateFormat dateFormat = new SimpleDateFormat(
                "yyyy-MM-dd");
        Date date=null;
        try {
            date = dateFormat.parse(s);
        } catch (ParseException e) {
            //logger.error("String转为date异常",e);
        }
        return date;
    }
}

Kafka幂等性生产者是一种可以保证消息只被发送一次的生产者。Kafka幂等性生产者可以避免由于生产者重试机制导致的重复消息和由于网络问题导致的消息丢失等问题,提高了Kafka的可靠性和稳定性。 Kafka幂等性生产者主要通过以下两个机制来实现: 1. 序列号:每个消息都有一个唯一序列号序列号由生产者自动生成。生产者在发送消息时,会将消息的序列号和其他元数据一起发送到Kafka broker。Kafka broker会根据序列号来判断消息是否重复,并保证重复消息不会被写入到Kafka的日志中。 2. 重试缓存:如果生产者在发送消息时发生错误,会进行重试。Kafka幂等性生产者会将需要重试的消息缓存到重试缓存中,并在下一次重试时将缓存中的消息重新发送。由于消息具有唯一序列号,重试缓存可以避免重复发送相同的消息。 Kafka幂等性生产者在保证消息只被发送一次的同时,也需要注意以下几点: 1. 序列号唯一性:为了保证序列号唯一性,生产者需要为每个消息生成唯一序列号。可以使用时间戳、UUID等方式来生成序列号。 2. 序列号的连续性:为了保证序列号的连续性,生产者需要在发送消息之前查询数据库或者使用缓存等方式来获取上一条消息的序列号。可以使用AtomicLong等数据结构来保证序列号的连续性。 3. 性能影响:由于需要对每条消息进行序列化和添加序列号等操作,Kafka幂等性生产者的性能会受到一定的影响。因此,在使用Kafka幂等性生产者时,需要根据具体的应用场景和需求来权衡可靠性和性能的平衡。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值