中间件
south_wind_story
指尖有改变世界的力量
展开
-
Redis入门学习(1)
一、Redis简介 远程字典服务器 Remote Diction Server 以字典结构存储数据,并允许其他应用通过TCP协议读写字典中的内容。 二、主要数据类型 1.Redis五大类型: 字符串(String) 哈希/散列/字典(Hash) 列表(List) 集合(Set) 有序集合(sortedset)五种 三...原创 2019-03-04 15:03:52 · 268 阅读 · 0 评论 -
Redis 之异常处理
1.无法从数据池获取连接 JedisPool中的Jedis对象个数是有限的,默认是8个。这里假设使用的默认配置,如果有8个Jedis对象被占用,并且没有归还,如果调用者还要从JedisPool中借用Jedis,就需要进行等待(例如设置了maxWaitMillis>0),如果在maxWaitMillis时间内仍然无法获取到Jedis对象就会抛出如下异常。 有一种情况,就是设置...转载 2019-04-15 22:49:33 · 1818 阅读 · 0 评论 -
Redis
年前本人在找工作面试时在Redis相关问题上可栽了跟头。在面试前按常规套路准备了一下,比如 Redis 的常用5种数据结构,Redis持久化策略,Redis实现分布式锁,简单发布订阅等等都准备了,当时不知天高地厚以为十拿九稳了,可是万万没想到我终究还是在Redis的被问的第一个问题上翻船了~~ 面试官 :看你简历上写了熟悉常用数据结构,都有哪些说说 本人 :常用有5种,string,list,s...转载 2019-04-17 14:48:59 · 100 阅读 · 0 评论 -
RabbitMQ
MQ: Producer,Consumer,Broker以及NameServer; producer:消息队列的生产者,需要与NameServer建立连接 Consumer:消息队列的消费者,同样与NameServer建立连接, broker:消息队列的核心,负责信息的接收、存储、拉取。 NameServer:消息的协调者 Broker分为Master和Slave,一个Mas...原创 2019-07-04 22:29:53 · 287 阅读 · 0 评论 -
WebMagic ---去重和增量爬取
一、问题缘由 (一)去重 笔者最近正在做一个爬取小说网站的后台端,遇到一个问题:有些URL重复爬取了。尽管重复爬取的页面不多,但是还是对程序造成了一些困扰,所以尝试去找到一种可以百分百去重的手段。 通过查阅相关资料,知道 Webmagic 去重靠的是Scheduler,默认使用的是QueueScheduler,同时在资料中还看到了RedisScheduler。我们都知道,Redis...原创 2019-08-06 15:23:27 · 1070 阅读 · 2 评论