高并发数据采集的架构应用(Redis的应用)

技术障碍:

     1. 面对用户量的增长,记录数3W倍的增长,如何保证这些记录能够在比较快的时间内进入存储介质。

   2. 应对用户量的增长,如何在规定的时间内完成采集,增加硬件设备处理能力还是使用更多的服务器来处理请求。

     3. 服务器的增长,是否能够支持现有的扩展能力。

架构实现:

使用到的技术项:

     1. 面向服务开发思维

     2. 队列服务

     3. 多任务并发执行

     4. 分布式服务管理

     5. Redis的应用

     6. 数据分表(分区)的实现和应用

     7. Redis异步延迟同步到数据库

架构图如下:

image

image

具体实现:

     1. 队列服务可以采用HttpsQs

     2. 多任务并发执行,PHP版可采用ParallelCurl,可控制并发数量

     3. 可使用PHP Redis实现对Redis的操作

     4. 数据表分表或者分区,可自行动手写个,原理很简单,需要指导的可以发私密信

 

总结:

      整个方案不是很复杂,在处理大数据方向这块,基本的原理都是一样,把不可控的因素要把握住,所以在多任务并发这块一定要控制到合理的数量,另外Redis缓存也支持分布式集群,增加Redis服务器并不会影响上层代码的改变,相对来说扩容能力还是相对不错。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值