![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
redis
Mr丶D
这个作者很懒,什么都没留下…
展开
-
redis的安装与配置以及使用
redis概述redis是一种支持分布式的nosql数据库,他的数据是保存在内存中,同时redis可以定时把内存数据同步到磁盘,即可以将数据持久化,并且他比memcached支持更多的数据结构(string,list列表[队列和栈],set[集合],sorted set[有序集合],hash(hash表))。相关参考文档:http://redisdoc.com/index.htmlredis使...原创 2019-05-07 14:56:47 · 288 阅读 · 0 评论 -
Scrapy-Redis创建分布式爬虫
Scrapy-Redis分布式爬虫组件Scrapy是一个框架,他本身是不支持分布式的。如果我们想要做分布式的爬虫,就需要借助一个组件叫做Scrapy-Redis,这个组件正是利用了Redis可以分布式的功能,集成到Scrapy框架中,使得爬虫可以进行分布式。可以充分的利用资源(多个ip、更多带宽、同步爬取)来提高爬虫的爬行效率。分布式爬虫的优点可以充分利用多台机器的带宽。可以充分利用多台...原创 2019-05-10 10:58:40 · 1656 阅读 · 1 评论 -
CentOS 7下安装Redis
安装redis下载安装包wget http://download.redis.io/releases/redis-4.0.6.tar.gz解压压缩包tar -zxvf redis-4.0.6.tar.gzyum安装gcc依赖yum install gcc进入redis解压目录下,编译安装cd redis-4.0.6# 编译make MALLOC=libc...原创 2019-06-13 18:46:47 · 306 阅读 · 0 评论 -
Celery (2)- Django中配置使用celery
安装pip install django-celery构建建项目Django项目django-admin startproject celery_demo先运行一下django项目python manage.py runserver直接运行项目报错和解决报错:django.core.exceptions.ImproperlyConfigured: SQLite 3.8.3 ...原创 2019-06-15 12:08:17 · 540 阅读 · 0 评论 -
Celery (3)监控工具flower的使用
安装 pip install flower启动:celery flower --address=0.0.0.0 --port=555 --broker=xxx --basic_auth=user:passwordcelery flower --address=0.0.0.0 --port=555 --broker=redis://127.0.0.1:6379如果我们在django...原创 2019-07-03 15:38:58 · 3048 阅读 · 2 评论 -
Celery (4)使用supervisor进程管理工具
supervisor介绍supervisor是用Python开发的一个client/server服务,是Linux/Unix系统下的一个进程管理工具。可以很方便的监听、启动、停止、重启一个或多个进程。用supervisor管理的进程,当一个进程意外被杀死,supervisor监听到进程死后,会自动将它重启,很方便的做到进程自动恢复的功能,不再需要自己写shell脚本来控制。安装pip ins...原创 2019-07-05 18:29:58 · 893 阅读 · 0 评论