【我的Web进阶之旅 关于页面优化和数据库处理的一点思考】
前言:最近,爬取一个海外的人肉搜索网站的数据,在进行处理的时候,数据量比较大,引发了一系列问题与思考。现在项目完成的差不多了,也有时间来总结了,纵观全局,遇到的问题不少,我们不一一赘述,取其中较有代表性的问题,以下是解决该问题心路历程。主要技术栈Node.jsPuppeteerMongoDB关于爬虫 笔者还是Javaer的时候基于兴趣研究过爬虫,这是之前写过的一篇文章,有兴趣的朋友可以看看 一起搞事情,Ja
原创
2020-11-19 17:35:49 ·
283 阅读 ·
1 评论