- 博客(3)
- 收藏
- 关注
原创 Scrapy 入门教程
Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy 常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫,抓取指定网站的内容或图片。Scrapy架构图(绿线是数据流向)Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloade...
2019-12-20 12:03:08 99
原创 利用Redis Sorted Set实现排行榜功能
Redis 有序集合(sorted set)一、向集合中添加(多个)元素和元素分值ZADD key score1 member1 [ score2 member2]1. ZADD runoobkey 1 redis2. ZADD runoobkey 2 mysql 3 java二、遍历集合ZRANGE XXX 0 -1 WITHSCORES1三、 获取有序集合的成员数zca...
2019-12-16 17:41:44 709
原创 详解redis的bitmap应用
bitmap的原理、用法原理8bit = 1Bbitmap就是通过最小的单位bit来进行0或者1的设置,表示某个元素对应的值或者状态。一个bit的值,或者是0,或者是1;也就是说一个bit能存储的最多信息是2。用法setBit说明:给一个指定key的值得第offset位 赋值为value。参数:key offset value: bool or int (1 or 0)返回值:...
2019-12-16 15:16:28 4498 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人