爬虫架构设计
爬虫架构设计
前言
公司要求:需要获取并分析数据,所以干起了爬虫工程师的事情,分享一下最近学习的经验.由于团队人手不够,目前是自己独自负责这部分(搭建、爬取、解析),可能会有不完善的地方,如果觉得有可以优化的地方或者是更好的方案可以私信交流。
目标:京东、考拉、淘宝、costco、amazon(自己现阶段的需求就是这些了)
使用到的数据库:mysql、mongo、redis
目录:
1.简易爬虫
2.框架设计(分布式框架爬虫)
3.服务器自动扩容(程序自动增减服务器设备)
4.反爬
一:简易爬虫
1.
原创
2021-02-19 16:25:47 ·
4299 阅读 ·
6 评论