分布式
文章平均质量分 74
Relievedz
没有伞的孩子,必须努力奔跑!
展开
-
xxl-job registry fail
1、检查nacos是否正确,一定要注意格式,一般都是addersses的地址问题,一定的要加/不然找不到,本机就不要使用ip了,用localhost。//调用抽象类的方法执行任务。参数:分片序号、分片总数、消息类型、一次最多取到的任务数量、一次任务调度执行的超时时间。2、注意自己的调度中心参数是否正确。// 分片序号,从0开始。原创 2023-03-10 09:49:25 · 1510 阅读 · 0 评论 -
分布式事务问题
一次课程发布操作需要向数据库、redis、elasticsearch、MinIO写四份数据,这里存在分布式事务问题。什么是分布式事务?首先理解什么是本地事务?平常我们在程序中通过spring去控制事务是利用数据库本身的事务特性来实现的,因此叫数据 库事务,由于应用主要靠关系数据库来控制事务,而数据库通常和应用在同一个服务器,所以基于关系型数据库的事务又被称为本地事务。原创 2023-03-09 15:04:28 · 1578 阅读 · 0 评论 -
XXL-JOB的基本使用
子任务:每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取),当本任务执行结束并且执行成功时,将会触发子任务ID所对应的任务的一次主动调度。下边要重点说的是分片广播策略,分片是指是调度中心将集群中的执行器标上序号:0,1,2,3...,广播是指每次调度会向集群中所有执行器发送调度请求,请求中携带分片参数。覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;如下图,我们会启动多个执行器组成一个集群,去执行任务。原创 2023-03-01 10:10:40 · 4956 阅读 · 1 评论 -
搭建XXL-JOB
首先下载XXL-JOB我使用2.3.1版本: https://github.com/xuxueli/xxl-job/releases/tag/2.3.1解压xxl-job-2.3.1.zip使用IDEA打开解压后的目录xxl-job-admin:调度中心xxl-job-core:公共依赖xxl-job-executor-samples:执行器Sample示例(选择合适的版本执行器,可直接使用)原创 2023-02-28 20:37:34 · 670 阅读 · 0 评论 -
XXL-JOB
文档:https://www.xuxueli.com/xxl-job/#%E3%80%8A%E5%88%86%E5%B8%83%E5%BC%8F%E4%BB%BB%E5%8A%A1%E8%B0%83%E5%BA%A6%E5%B9%B3%E5%8F%B0XXL-JOB%E3%80%8B。只要职责是注册服务、任务执行服务(接收到任务后会放入线程池中的任务队列)、执行结果上报、日志服务等。5.当用户在调度中心查看任务日志,调度中心请求任务执行器,任务执行器读取任务日志文件并返回日志详情。负责执行具体的业务处理。原创 2023-02-28 20:07:50 · 413 阅读 · 0 评论 -
分布式任务处理
视频上传成功需要对视频的格式进行处理,如何用Java程序对视频进行处理呢?这里有一个关键的需求就是当视频比较多的时候我们如何可以高效处理。如何去高效处理一批任务呢?1、多线程多线程是充分利用单机的资源。2、分布式加多线程充分利用多台计算机,每台计算机使用多线程处理。方案2可扩展性更强。方案2是一种分布式任务调度的处理方案。什么是分布式任务调度?我们可以先思考一下下面业务场景的解决方案:某电商系统需要在每天上午10点,下午3点,晚上8点发放一批优惠券。原创 2023-02-28 20:04:54 · 482 阅读 · 0 评论 -
Minio服务器上传图片视频访问不了
代理权限,选择对应的桶,将其代理权限也设置为公有。原创 2023-02-28 16:01:21 · 3941 阅读 · 4 评论 -
断点续传实现
通常视频文件都比较大,所以对于媒资系统上传文件的需求要满足大文件的上传要求。http协议本身对上传文件大小没有限制,但是客户的网络环境质量、电脑硬件环境等参差不齐,如果一个大文件快上传完了网断了没有上传完成,需要客户重新上传,用户体验非常差,所以对于大文件上传的要求最基本的是断点续传。什么是断点续传:原创 2023-02-27 10:18:59 · 3033 阅读 · 0 评论 -
MinIO测试的详细步骤
地址:https://docs.min.io/docs/java-client-quickstart-guide.html。执行main方法,共上传两个文件,1.mp4上传到桶根目录下,1.avi上传到 桶中的avi目录下,avi目录会自动创建。//检查testbucket桶是否创建,没有创建自动创建。参考示例在media-service工程中 测试上传文件功能,//自己服务器地址+端口号。//上传1.avi,上传到avi子目录。上传成功,通过web控制台查看文件,并预览文件。原创 2023-02-21 08:40:03 · 1133 阅读 · 0 评论 -
MinIo-SDK
地址:https://docs.min.io/docs/java-client-quickstart-guide.html。执行main方法,共上传两个文件,1.mp4上传到桶根目录下,1.avi上传到 桶中的avi目录下,avi目录会自动创建。//检查testbucket桶是否创建,没有创建自动创建。参考示例在media-service工程中 测试上传文件功能,//上传1.avi,上传到avi子目录。上传成功,通过web控制台查看文件,并预览文件。,可以唯一标识你的账户。选择public权限。原创 2023-02-21 09:15:41 · 1809 阅读 · 0 评论 -
windows安装minion
console-address “:9000”:控制台端口,自带UI页面。D:\MinIO\Data:MinIO安装的目录,包含配置文件,存储文件。–address “:9090”:API端口。这边就是访问成功了:密码上面有默认密码是。进入到minio的目录下,执行。账号:minioadmin。密码:minioadmin。原创 2023-02-20 15:28:11 · 665 阅读 · 0 评论 -
MinIO文件系统
Minio使用纠删码技术来保护数据,它是一种恢复丢失和损坏数据的数学算法,它将数据分块冗余的分散存储在各各节点的磁盘上,所有的可用磁盘组成一个集合,上图由8块硬盘组成一个集合,当上传一个文件时会通过纠删码算法计算对文件进行分块存储,除了将文件本身分成4个数据块,还会生成4个校验块,数据块和校验块会分散的存储在这8块硬盘上。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。中文:https://www.minio.org.cn/,http://docs.minio.org.cn/docs/原创 2023-02-20 11:41:05 · 3046 阅读 · 0 评论 -
分布式文件系统
要理解分布式文件系统首先了解什么是文件系统。查阅百度百科:文件系统是负责管理和存储文件的系统软件,操作系统通过文件系统提供的接口去存取文件,用户通过操作系统访问磁盘上的文件。下图指示了文件系统所处的位置:常见的文件系统:FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等。现在有个问题,一此短视频平台拥有大量的视频、图片,这些视频文件、图片文件该如何存储呢?如何存储可以满足互联网上海量用户的浏览。今天讲的分布式文件系统就是海量用户查阅海量文件的方案。原创 2023-02-20 11:24:32 · 1607 阅读 · 0 评论