项目下载中心-超简单版解决方案

已于 2023-04-06 13:24:39 修改
阅读量1.4k 收藏
点赞数
文章标签： java 经验分享 项目方案 下载中心
于 2023-04-06 13:18:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaohangblog/article/details/129986837
版权

简单的下载中心的设计流程

直接上设计流程：
在这里插入图片描述

以上就是步骤了，至于每个步骤怎么实现，那方法就很多了 ，随意，达到目的就行。

至于各种问题，比如队列性能，消息重复或丢失，等等，碰到的再说 再处理吧 ╮(╯_╰)╭ 反正这是超简单的版本 不想了

以下是，我使用的实现方式，可以参考。【仅参考，毕竟大家的需求不同】

MQ 搭建-RocketMQ

这里的队列用了RocketMQ，至于为什么用这个，理由是这个我以前没玩过 ，试试(～￣▽￣)～

项目用的是spring-cloud-alibaba，所以还是用它的东西试试吧。

参考资料：

  • RocketMQ官方：https://rocketmq.apache.org/docs/quick-start/
  • springCloud官方：https://spring.io/projects/spring-cloud-alibaba/
  • https://blog.csdn.net/m0_46689235/article/details/120945490
  • https://blog.51cto.com/zhangxueliang/2984247
Start Name Server
docker pull rocketmqinc/rocketmq:latest 
docker run -d -p 9876:9876 -v /u01/logs/rocketmq/namesrv/logs:/root/logs -v     /u01/date/rocketmq/namesrv/store:/root/store --name rmqnamesrv rocketmqinc/rocketmq:latest sh mqnamesrv
Start Broker

创建broker配置文件(可能需要切换全新 mac[sudo -s])
mkdir -p /u01/docker/rocketmq/conf //递归创建文件
cd /u01/docker/rocketmq/conf  //进入文件位置
vim broker.conf (通过vim编辑文件 没有会自动创建)

brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
# brokerIP1 = 127.0.0.1
brokerIP1 = 192.168.0.198

通过指定broker.conf配置文件来启动容器
docker run -d -p 10911:10911 -p 10909:10909 -v  /u01/logs/rocketmq/broker/logs:/root/logs -v  /u01/date/rocketmq/broker/store:/root/store -v  /u01/docker/rocketmq/conf/broker.conf:/opt/rocketmq-latest/conf/broker.conf --name rmqbroker --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876" -e "MAX_POSSIBLE_HEAP=200000000" rocketmqinc/rocketmq:latest sh mqbroker -c /opt/rocketmq-latest/conf/broker.conf
start look View
# 下面这个 选一个就可以了 没啥差别 
docker pull pangliang/rocketmq-console-ng //拉取镜像
docker run -d -e "JAVA_OPTS=-Drocketmq.namesrv.addr=172.17.192.173:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8082:8080 -t pangliang/rocketmq-console-ng:latest
# 访问：http://192.168.0.198:8082/#/ops

docker pull styletang/rocketmq-console-ng:1.0.0
docker run -e "JAVA_OPTS=-Drocketmq.namesrv.addr=172.16.55.185:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8082:8080 -t styletang/rocketmq-console-ng:1.0.0
小结

MQ就只是个MQ，在这个方案里面就只传递一个消息，异步一下，控制一下处理速度就行，至于别用其他的功能无所谓了。
所以用别的RabbitMQ，kafka 也都是可以了，没差，这里用不到多少功能与性能。
除非系统的量级大上去了。那，时候这个简单的方案也不能用了不是 ╮(╯_╰)╭

MQ使用与简单分发

rocketMQ本身的发送，就没什么要说的了，官方等等 导出都有栗子，这里直接就 贴 这个方案用到的。

参考：

  • spring 测试类：https://www.jb51.net/article/233246.htm
  • https://github.com/alibaba/spring-cloud-alibaba/blob/2.2.x/spring-cloud-alibaba-examples/rocketmq-example/readme-zh.md
发送下载消息
@Component
public class DownloadMessageSendUtil {
... 精简已来一些代码了
    private static String NAMW_SERVER; // 名称服务地址
    private static String PRODUCER_NAME; // 生产者注册名称
    private static String LISTENER_TOPIC; //监听 的topic 名称

    private static DefaultMQProducer producer = null;

    private static DefaultMQProducer init() throws MQClientException {
        if (producer == null) {
            producer = new
                    DefaultMQProducer(PRODUCER_NAME);
            producer.setNamesrvAddr(NAMW_SERVER);
            producer.start();
        }
        return producer;
    }

	// 简单发送MQ消息
    public static SendResult simpleSend(String message,IDownloadResourceService downloadResourceService) throws Exception {
        DefaultMQProducer producer = init();
        Message msg = new Message(LISTENER_TOPIC,
                "TagA",
                (message).getBytes(RemotingHelper.DEFAULT_CHARSET)
        );
        MsgInfo msgInfoId = JSON.parseObject(message, MsgInfo.class);
        SendResult sendResult = producer.send(msg);
        downloadResourceService.update(new LambdaUpdateWrapper<DownloadResource>()
                .eq(DownloadResource::getId,msgInfoId.getId())
                .set(DownloadResource::getMessageId,sendResult.getMsgId()));
        System.out.printf("%s%n", sendResult);
        return sendResult;
    }

	// 创建下载中心基础数据对象,这个就是那个文件数据表了，这个只是方便创建数据而已 
    public static DownloadResource createDownloadResource(int belongType, Agent agent, Long id, String createBy) {
        DownloadResource downloadResource = new DownloadResource();
        downloadResource.setBelongType(belongType);
        downloadResource.setSysId(agent.getSysId());
        。。。
        return downloadResource;
    }

    /**  发送消息 对外使用 */
    public static AjaxResult sendDownloadMsg(IDownloadResourceService downloadResourceService, DownloadResource downloadResource, String downloadServiceName, Object paramObject) throws Exception {
        // 插入下载资源表数据
        MsgInfo msgInfo = new MsgInfo();
        String paramObjectJson = JSONObject.toJSONString(paramObject);
        msgInfo.setDownloadServiceName(downloadServiceName);
        msgInfo.setParamJson(paramObjectJson);
        downloadResource.setParamJson(JSON.toJSONString(msgInfo));
        downloadResourceService.save(downloadResource);
        msgInfo.setId(downloadResource.getId());
        //消息拦截
        AjaxResult ajaxResult = intercept(downloadResourceService, downloadResource);
        if (Integer.parseInt(ajaxResult.get("code").toString()) == 200){
            // 发送MQ消息
            String msgInfoJson = JSONObject.toJSONString(msgInfo);
            simpleSend(msgInfoJson,downloadResourceService);
        }
        return ajaxResult;
    }

    /** 消息拦截 做一些限制 不嫌麻烦这里可以做各种的限制*/
    public static AjaxResult intercept(IDownloadResourceService downloadResourceService, DownloadResource downloadResource){
        //下载中心表的存放的参数
        List<String> paramsList = new ArrayList<>();
        int count = downloadResourceService.count(new LambdaQueryWrapper<DownloadResource>()
                .eq(DownloadResource::getAgentId, downloadResource.getAgentId())
                .eq(DownloadResource::getSysId, downloadResource.getSysId())
                .eq(DownloadResource::getFileType, downloadResource.getFileType())
                //未完成和已完成需要进行判断
                .eq(DownloadResource::getStatus, 0)
                //取时间为今天的数据
                .apply("date_format(create_time,'%Y-%m-%d') = {0}", DateUtil.today())
        );
        //未完成超过十条直接返回失败
        if(count>=10){
            return AjaxResult.error("当前代理商未完成的下载数量不能超过10条");
        }
        return  AjaxResult.success("导出成功，请至下载中心进行下载至本地");
    }

}
监听以及分发【主要】
@Component
public class DownLoadBusinessBase {
... 精简的一些代码了
    private static String NAMW_SERVER; // 名称服务地址
    private static String PRODUCER_NAME; // 生产者注册名称
    private static String LISTENER_TOPIC; //监听 的topic 名称

    public void run() throws Exception{
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(CONSUMER_NAME);
        consumer.setNamesrvAddr(NAMW_SERVER);
        consumer.subscribe(LISTENER_TOPIC, "*");
        // 现在消息监听处理的线程池配置
        consumer.setConsumeThreadMax(1);
        consumer.setConsumeThreadMin(1);
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @SneakyThrows
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                            ConsumeConcurrentlyContext context) {
                // 这里就是监听的方法了，下面是具体怎么处理消息的
                System.out.println("=================msgs.size:"+msgs.size());
                System.out.printf("%s Receive New Messages: %s %n %n", Thread.currentThread().getName(), msgs,context);
                Long downloadId = null;
                try {
                    // 这里需要分发的操作 。。。demo 当做一条数据处理
                    String body = new String(msgs.get(0).getBody());
                    MsgInfo msgInfo = JSONObject.parseObject(body, MsgInfo.class);
                    downloadId = msgInfo.getId();

                    // 判断下载业务是否为待处理  并更新为处理中
                    DownloadResourceServiceImpl downloadResourceService= SpringUtils.getBean("downloadResourceServiceImpl");
                    DownloadResource downloadResource = downloadResourceService.getOne(new LambdaQueryWrapper<DownloadResource>().eq(DownloadResource::getId,msgInfo.getId()),false);
                    if (downloadResource==null || !DownloadResource.Constants.STATUS_WAIT.equals(downloadResource.getStatus()) ){
                        // 不进行处理
                    }else{
                        downloadResourceService.lambdaUpdate().eq(DownloadResource::getId, downloadResource.getId())
                                .set(DownloadResource::getStatus, DownloadResource.Constants.STATUS_PROCESSING)
                                .update();
						
                        // 以下4行就是简单的分发了，获取到名称，调用spring管理的具体业务处理服务的Bean (～￣▽￣)～
                        // 这里要求名称与业务处理名一致
                        String serviceName = msgInfo.getDownloadServiceName();
                        serviceName = serviceName.substring(0, 1).toLowerCase() + serviceName.substring(1);
                        BaseBusiness business= SpringUtils.getBean(serviceName);
                        business.download(msgInfo.getParamJson(),msgInfo.getId());
                    }
                }catch (Exception e){ // 异常处理
                    if (downloadId!=null){
                        DownloadResourceServiceImpl downloadResourceService= SpringUtils.getBean("downloadResourceServiceImpl");
                        downloadResourceService.lambdaUpdate().eq(DownloadResource::getId, downloadId)
                                .set(DownloadResource::getStatus, DownloadResource.Constants.STATUS_PROCESSING_FAIL)
                                .set(DownloadResource::getRemarks,"下载数据接受处理异常:"+e.getMessage())
                                .update();
                    }
                }finally {
                    return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
                }

            }
        });
        consumer.start();
        System.out.println("Consumer Started.%n");
        System.out.println("～ (～￣▽￣)～     。。。下载队列监听中。。。。。。。  ～  (～￣▽￣)～ ");
    }
}
// 这一行代码，需要在项目启动的时候执行，在项目Application.main加上
new DownLoadBusinessBase().run();
业务的定义类处理
// 这个就只是方便前面的获取Bean与调用，所以定义了接口与基础实现
public interface BaseBusinessInterface {
    void download(String param,Long downloadId) throws IOException;
}

public class BaseBusiness implements BaseBusinessInterface{
    @Override
    public void download(String param,Long downloadId) throws IOException {

    }
}

@Slf4j
@Service
@Component
public class MerchantBusiness extends BaseBusiness{
    // 业务处理中需要用到，因为这里已经是在spring管理中了，所以随便注入，能用的
    @Autowired
    private IDownloadResourceService downloadResourceService; 

    @Override
    public void download(String param,Long downloadId) throws RuntimeException {
    	// 这里就可以处理下载查询等等的操作了
        // 然后吧处理好的文件压缩保存到文件服务就行了
    }
}

其他内容

文件下载
  1. 这里使用远程文件服务的话，就是直接调用接口就可以了。
  2. 使用本地的话，可以使用nginx做静态文件资源映射 就可以了。
  3. 如果这里的业务服务与Nginx服务，不在同一个服务器里面，那做个Linux下的远程文件挂载就可以了。
其他问题 等 遇到了再说了
小_杭
关注
代码设计：下载中心
lulong031111的专栏
01-25 799
这篇文章讲：下载中心的设计，下载中心的实现及缘由，请看我的另一篇文章：点击打开链接
功能实现-下载中心
lulong031111的专栏
01-25 1031
项目介绍        这是我加入YY后的第一个工作任务，项目名称：下载中心   目标：下载成功率达到99.9%以上，下载独立于主进程从而能够提供更为及时的更新服务！        项目经过了差不多一个半月的周期，最终实现了目标：下载成功率，排除个别地区（如新疆）由于政策的干涉，顺利达到99.9%以上，基本在99.94%以上；下载及时性也OK，下载策略是：优先在独立进程下载，主进程备用下载；
下载中心实现总结
sinat_35004168的博客
11-02 733
背景：业务要求，需要一个全量导出数据库并生成excel表格的功能。因为数据量大，使用poi生成excel的速度也很慢，直接返回用户体验很差，所以打算开发一个下载中心来支持后台生成。 实现：使用redis链表做一个简单的消息队列（系统采用多容器来做，消息队列可以简单实现各容器上下载任务负载均衡），传递的消息为后台启动函数的名称、参数等，数据库维护一张表简单记录下载信息，用于展示。每次点击生成excel，向redis提交一个相关任务信息，更新数据库，各个容器都有一个后台任务，它们会去尝试消费这个信息，某个容器
nginx搭建下载站和动态网站
最新发布
2303_78690349的博客
08-21 664
nginx搭建下载站和动态网站
下载中心表设计
BLOCKGOLD.E的博客
06-07 299
对用户来说，下载文件和配置下载管理是两个可直接交互的功能。2. 后台扫描文件表，查看是否有数据没有导出/没有生成文件。3）停止下载任务（单线程任务相当于取消，多线程任务暂停）。3. 根据条件生成文件，更新文件导出任务状态。5）查询任务信息（从内存或数据库中查询）。用户点击下载器（打开下载器、下载列表）2. 用户点击某任务，查询状态后下载。2）开始下载任务（新建或断点续传）。4）取消下载任务（停止并删除）。1. 用户点击下载，创建下载任务。1）添加下载任务（手动开始）。1. 查询下载任务，生成列表。
简单分享下文件下载中心的实现和代码
zzzgd_666的博客
04-19 242
业务中很常见的场景,就是下载. 而随着业务数据越来越大, 下载的负担也越来越重, 时间越来越久因此经常会将其做成异步的, 先给前端返回,然后开一个线程去处理. 然后等处理完用户到一个专门的页面下载.
实现下载功能
wxg6203的专栏
05-12 124
import java.io.*; import java.text.*; import java.util.*; import javax.servlet.*; import javax.servlet.http.*; import java.net.*; /** * 实现下载功能 */ public class Down...
Linux系统下多版本php共存的解决方案(超简单)
01-20
自php7问世，身为最新版本控的我马上升级体验，但是由于服务器上...首先要下载php-5.4.45.tar.gz源码包。 通过源码安装 # tar xzvf php-5.4.45.tar.gz # cd php-5.4.45 # ./configure --prefix=/usr/local/php54 --wi
swift-Cacher适用于iOSmacOStvOS和watchOS的超简单缓存解决方案
08-15
Swift-Cacher是一个专门为iOS、macOS、tvOS和watchOS平台设计的轻量级缓存解决方案，它简化了数据存储和检索的过程，提高了应用程序的性能和用户体验。在移动设备上，由于内存和处理能力的限制，高效的数据缓存至关...
proj-euler:项目欧拉解决方案
07-07
只是一个展示我的项目 euler 解决方案的地方。 我这样做是为了好玩并在算法上保持敏锐：并非所有解决方案都是超级干净、超级可读的代码，有些是快速而肮脏的解决方案； 但所有的工作（iirc）。 一旦你找出解决它们的...
人工智能-项目实践-C#-C# 超简单的离线人脸识别库.zip
01-05
这个项目为开发者提供了一个高效且易于集成的解决方案，适用于Windows和Linux平台。 一、人脸识别技术概述 人脸识别是一种生物识别技术，通过分析和比较人脸特征来确定个体身份。这项技术广泛应用于安全监控、门禁...
SpringCloud下载
09-12
SpringCloud的PPT包含了服务发现与注册 Eureka，服务消费 Ribbon 和 Reign，链路监控 Sleuth，断路器（熔断器）Hystrix，分布式配置中心 Config，消息总线 Bus ，服务网关 Zuul，10.Spring Boot Admin 服务监控
springCloud全部基础的demo项目.rar
12-05
springCloud项目基础demo全部文件夹，包括文档桌面，代码中有说明与注释，附带参考的博客地址 项目文件夹介绍： springcloud-eureka ---注册中心(核心)参考博客地址: https://blog.csdn.net/qq_33333654/article/details/102636388 client ---- feign方式调用demo项目 参考博客地址: https://blog.csdn.net/qq_33333654/article/details/102636704 producer ---- feign方式调用demo项目 参考博客地址: https://blog.csdn.net/qq_33333654/article/details/102782751 consumer ---- Hystrix-dashboard 断路监控项目demo 参考博客地址: https://blog.csdn.net/qq_33333654/article/details/102793842 hystrix-turbine ---- turbine监控统计汇总项目 参考博客地址: https://blog.csdn.net/qq_33333654/article/details/102798573 consumerNode01与consumerNode02 项目 ---- 熔断相关项目 参考博客地址: https://blog.csdn.net/qq_33333654/article/details/102798573 spring-cloud-config-** ---- 已该前缀开头的项目均跟配置中心相关(核心)，参考博客地址: https://blog.csdn.net/qq_33333654/article/details/103081664 注意：其中包含了集成rabbitmq，参考博客地址: https://blog.csdn.net/qq_33333654/article/details/103182042 gateway-service-zuul-simple ---- zuul网关，单项目，暂时未做高可用。参考博客地址: https://blog.csdn.net/qq_33333654/article/details/103269348 zipkin-server ---- 链路追踪项目 参考博客地址: https://blog.csdn.net/qq_33333654/article/details/103401787
spring-cloud项目_springcloud_springcloud项目_springcloud_spring-clou
10-03
简单的spring cloud项目，适合新手学习使用
spring-cloud项目
03-12
eclipse项目，没有什么内容，
SpringCloud微服务项目
01-21
一个由SpringCoud微服务架构的小项目，应用了SpringCloud的常见组件，配有项目的SQL文件，导入Eclipse下载好依赖即可使用。在浏览器中访问后台登录界面 http://localhost:8110/manage-web/login。前台展示界面的访问地址为 http://localhost:8210/sale-web/book/list
STHV749 低成本超声成像脉冲发生器解决方案-电路方案
04-21
4通道7级级联电平电压超声脉冲发生器基于ICSTHV749设计，这是一款专为超声成像应用而设计的最先进设备。本项目设计提供了一种超声脉冲发生器IC的简单方法，这要归功于...超声成像STHV800 超声波8通道脉冲发生器解决方案
java 下载中心 mq_Java语言快速实现简单MQ消息队列服务
weixin_39541681的博客
02-27 116
使用JAVA语言自己动手来写一个MQ (类似ActiveMQ,RabbitMQ)主要角色首先我们必须需要搞明白MQ (消息队列)中的三个基本角色ProducerBrokerConsumer整体架构如下所示自定义协议首先从上一篇中介绍了协议的相关信息,具体厂商的MQ(消息队列)需要遵循某种协议或者自定义协议 , 消息的生产者和消费者需要遵循其协议(约定)才能后成功地生产消息和生产消息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小_杭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值