解决方案
coffejoy
这个作者很懒,什么都没留下…
展开
-
分布式定时任务解决方案
背景 服务有定时任务,当服务部署到多个节点时,每个节点在同一个时间点都会执行相同的定时任务,需要做的是,让同一个时间点,每一个定时任务只在一个节点上执行。 解决方案思路 单独设置任务调度服务 使用Redis实现 使用Elastic-Job框架实现 使用LTS框架实现 方案一:单独设置任务调度服务 任务调度服务部署在单结点,定时任务以Http请求的方式去向网关调用任务请求,网关将请求分发到集群中...原创 2019-04-17 06:57:43 · 1042 阅读 · 1 评论 -
IP代理池设计与解决方案
背景 爬虫服务请求量大,为了应对反爬措施,增加爬虫的爬取效率和代理IP使用率,需要设计一个IP代理池,满足以下需求: 定时任务获取第三方代理 及时剔除IP代理池中失效的IP 业务隔离IP 若IP未失效,但对某个业务来说,IP被封,需要针对业务,隔离此IP 均衡使用IP 避免IP使用频率不均问题 需求1:及时剔除IP代理池中失效的IP 超过有效时间,自动失效 每个IP都有固定的有效时...原创 2019-04-17 07:24:49 · 612 阅读 · 0 评论