2.8 本章小结
本章主要介绍了与编写爬虫程序相关的Web前端开发技术。
前端开发技术是爬虫开发人员必备技能之一,也是编写爬虫程序的基础。前端技术的主要作用是分析各类网站的设计架构,以便有针对性地编写爬虫脚本。从整个爬虫开发周期来看,分析网站架构是最为耗时的一环,也是爬虫开发的核心之一,可以说,爬虫的开发都是基于网站的分析为前提。
关于前端开发技术,读者应重点掌握以下内容。
● HTTP与HTTPS:互联网上应用最为广泛的一种网络协议。目前所有网站开发都基于该协议,也是网站的实现原理。
● 请求头:基于HTTP与HTTPS协议实现,其作用是在通信之间实现信息传递。熟知各种请求类型,对爬虫中编写请求头有指导性作用。
● Cookies:存储在用户主机浏览器中的文本文件,主要让服务器识别各个用户身份信息。
● HTML:服务器返回的网页内容,一般由服务器后台生成。网站大部分数据来源于此,熟悉HTML布局和各个标签的作用,有利于数据抓取和清洗。
● JavaScript:主要实现网页的动态功能及用户交互。要懂得分析JavaScript代码,尤其是数据加密处理。
● JSON:表示一个JavaScript对象的信息,本质是一个特殊的字符串。
● Ajax:主要是前端数据加载和渲染技术,其响应内容大部分以JSON格式为主。
BbNvQ+GNL6NTMH4AUobB/PR2sMmju2gtbjYdzmzVZui07kAOMtymFaxYn4Kb+EV0