![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
8.分布式系统
文章平均质量分 84
常见web分布式工具使用
小Pawn爷
Python菜鸟
展开
-
Elasticsearch
Haystack是在Django中对接搜索引擎的框架,搭建了用户和搜索引擎之间的沟通桥梁Haystack 可以在不修改代码的情况下使用不同的搜索后端(比如WhooshSolr等等)原创 2024-05-02 10:25:04 · 545 阅读 · 0 评论 -
Celery
1.基础1.1 定义Celery 是一个处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度1.2 组成Celery 的架构由三部分组成:组成部分含义消息中间件Celery 本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成.包括,RabbitMQ, Redis 等等任务执行单元Worker是Celery 提供的任务执行的单元,worker 并发的运行在分布式的系统节点中任务结果存储用来存储 Worker 执行的任务的结果,原创 2022-02-03 10:43:17 · 2009 阅读 · 1 评论 -
RabbitMQ
1.消息队列1.定义MQ全称为MessageQueue 消息队列,是分布式系统中重要的组件,是一种应用程序对应用程序的通信方法2.目的1.解决生产者和消费者的强解耦问题2.异步消息:防止应用的阻塞3.流量消锋:当流量过大时,使用消息队列作为一个缓存区,平衡了生产者和消费者的处理能力,防止应用挂掉3.类别常见的消息队列中间件1.RabbitMQ2.Kafka2.RabbitMQ安装RabbitMQ 是一个基于Erlang 语言和AMQP协议开发的消息中间件安装参考使用参考3.原创 2022-02-01 14:11:33 · 1810 阅读 · 0 评论 -
Elasticsearch
1.定义特点:Elasticsearch 是用 Java 实现的,开源的搜索引擎。它可以快速地储存,搜索和分析海量数据, 维基百科,Stack Overflow,Github等都采用它Elasticsearch 的底层是开源库 Lucene , 但是,没法直接使用Lucene,必须自己写代码去调用它的接口分词说明搜索引擎在对数据构建索引时,需要进行分词处理。分词是指将一句话拆解成多个单字 或 词,这些字或词便是这句话的关键词。比如:我是中国人分词后:我、是、中、国、人原创 2022-03-20 15:22:52 · 3177 阅读 · 1 评论 -
fdfs-client-py安装
报错:building 'fdfs_client.sendfile' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ 解决方式:1.打开 setup.py#!/usr/bin/env pythonimport osfrom fdfs_client imp...原创 2019-09-23 21:21:00 · 1449 阅读 · 1 评论 -
FastDFS
1.什么是FastDFS1.定义FastDFS(Fast Distributed file system)用c语言编写的一款开源的轻量级分布式文件系统2.功能:文件存储,文件访问(文件上传,文件下载)文件同步等,解决了大容量存储和负载均衡的问题3.优点:有利于冗余备份,负载均衡,线性扩容,高可用,高性能实现了软RAID(redundant array of independent disks独立磁盘冗余阵列)4.缺点通过API下载,存在单点的性能瓶颈不支持断点续传,对大文件原创 2022-02-27 12:31:37 · 3455 阅读 · 0 评论