- 博客(1)
- 收藏
- 关注
转载 爬虫体系技术架构
1.总述 在构建爬虫体系的时候,参考了现在的各种爬虫框架,如:python的scrapy框架,java的webmagic等等,但是都有一些问题 无法回避,即:如果抓取的网页特别多,不是几百上千个,而是以万为单位来计数的话,怎么办?不可能每个url地址都去写解析, 都在线抓取,那么怎...
2017-05-23 15:50:00
944
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人