1.前端知识 开发爬虫需要了解一些前端知识和基本原理,分析网页的构成元素,WEB前端的三要素:HTML + CSS + JavaScript,它们构成一MVC框架,即23个设计模式中的Model_View_Controller模式,HTML作为信息模型(Model),CSS控制样式(View),JavaScript负责调度数据和实现某种展现逻辑(Controller),很好的实现了业务逻辑和用户界面的解耦。前端开发需要了解的知识很多,下面给出了前端工程师的技能表以及知识结构 技能表图 来源于flickr 前端知识结构图来自于 拔赤的微博 2.需要的一些工具 2.1浏览器插件 当然,作为非前端工程师并不要求这些技能,做爬虫的时候我们需要分析网页内容,抓取需要的有效信息,使用前端开发调试工