2501_93887045的博客

原创 日均上亿条数据采集，这套架构撑住了

真正好的架构不是让节点不崩，而是崩了也无所谓。本文设计了一套无状态爬虫节点方案，所有状态收敛到队列和资源池中，节点只做拿任务、执行、上报三件事。挂了重启就能继续消费，配合消息队列的自动重投机制，做到任务不丢、服务不断。