Python网络爬虫案例实战：爬虫网络概述-网页基础

Python网络爬虫案例实战：爬虫网络概述-网页基础

用浏览器访问网站时，页面各不相同，有没有想过它为何会是这个样子呢？下面就了解一下网页的基本组成、结构和节点等内容。

1.2.1网页的组成

网页可以分为三大部分----HTML.CSS 和 JavaScript。如果把网页比作一个人，那么HTML相当于骨架，JavaScript相当于肌肉，CSS相当于皮肤，三者结合起来才能形成一个完善的网页。下面分别介绍这3部分的功能（HTTL在前面已介绍，在此只对 CSS 和JavaScript作简单介绍，后面章节还会详细介绍）。
1.CSS
HTML定义了网页的结构，但是只有HTML页面的布局并不美观，可能只是简单的节点元素的排列，为了让网页看起来更好看，这里借助了CSS。
CSS全称为 Cascading Style Sheets，即层叠样式表。“层叠”是指当在HTML 中引用了数个样式文件，并且样式发生冲突时，浏览器能依据层叠顺序处理。“样式”指网页中文字大小、颜色、元素间距、排列等格式。
CSS是目前唯一的网页页面排版样式标准，有了它的帮助，页面才会变得更为美观。例如，

就是一个CSS样式。花括号前面是一个CSS选择器，此选择器的意思是首先选中id为 head_wrapper 且 class为s-ps-islite的节点，然后再选中其内部的class为s-p-top的节点。花括号内部写的就是一条条样式规则，例如 position指定了这个元素的布局方式为绝对布局，bottom指定元素的下边距为40像素，width指定了宽度为100%，height则指定了元素的高度。也就是说，将位置、宽度、高度等样式配置统一写成这样的形式，然后用花括号括起来，接着在开头再加上 CSS选择器，这就代表这个样式对 CSS选择器选中的元素生效，元素就会根据此样式来展示了。
在网页中，一般会统一定义整个网页的样式规则，并写人CSS文件中（其后缀为.css）。在HTML中，只需要用link标签即可引入写好的 CSS 文件，这样整个页面就会变得美观、优雅。
2.JavaScript
JavaScript简称JS，是一种脚本语言。HTML 和 CSS 配合使用，提供给用户的只是一种静态信息，缺乏交互性。在网页里可能看到一些交互和动画效果，如下载进度条、提示框、轮廓图等，这通常是JavaScript的功劳。它的出现使得用户与信息之间不只是一种浏览与显示的关系，而是实现了一种实时、动态、交互的页面功能。
JavaScript通常也是以单独的文件形式加载的，后缀为js，在HTML中通过 script标签即可引入，例如：

综上所述，HTML定义了网页的内容和结构，CSS描述了网页的布局，JavaScript定义了网页的行为。

1.2.2节点树及节点间的关系

在HTML中，所有标签定义的内容都是节点，它们构成了一个HTML DOM树。
先看一下什么是DOM。DOM是W3C（万维网联盟）的标准，英文为Document Object Model，即文档对象模型。它定义了访问HTML和XML 文档的标准。
W3C文档对象模型（DOM）是平台和语言的接口，它允许程序和脚本动态地访问和更新文档的内容、结构和样式。
W3C DOM标准被分为3个不同的部分。
.核心DOM：针对任何结构化文档的标准模型。
.XML DOM：针对XML 文档的标准模型。
.HTML DOM：针对HTML 文档的标准模型。
根据W3C的HTML DOM标准，HTML 文档中的所有内容都是节点，表现形式如下：
.整个文档是一个文档节点。
.每个HTML元素是元素节点。
.HTML元素内的文本是文本节点。
.每个HTML属性是属性节点。
.注释是注释节点。
HTML DOM将HTML文档视作树结构，这种结构被称为节点树，如图1-8所示。

通过HTML DOM，树中的所有节点均可通过JavaScript访问，所有HTML 节点元素均可被修改，也可以被创建或删除。
节点树中的节点彼此拥有层级关系。常用父（parent）、子（child）和兄弟（sibling）等术语描述这些关系。父节点拥有子节点，同级的子节点被称为兄弟节点。
在树节点中，顶端节点称为根（root）。除了根节点外，每个节点都有父节点，同时可拥有任意数量的子节点或兄弟节点。图1-9展示了节点树以及节点间的关系。

1.2.3选择器

网页由一个个节点组成，CSS选择器会根据不同的节点设置不同的样式规则，那么怎样来定位节点呢？
在 CSS中，使用 CSS选择器来定位节点。例如div 节点的i为 container，那么就可以表示为#container，其中井#开头代表选择id，其后紧跟id的名称。另外，如果想选择class为wrapper的节点，便可以使用.wrapper，这里以点（.）开头代表选择class，其后紧跟class的名称。另外，还有一种选择方式，那就是根据标签名筛选，例如，想选择二级标题，直接用h2即可。这是最常用的3种方式，分别是根据id、class、标签名筛选，但要牢记它们的写法。
另外，CSS选择器还支持嵌套选择，各个选择器之间加上空格分隔便可以代表嵌套关系，如井container.wrapper p 代表先选择id为 container的节点，然后选中其内部的class为wrapper的节点，接着进一步选中其内部的p节点。另外，如果不加空格，则代表并列关系，如div#container.wrapper p.text 代表先选择id为 container的div节点，然后选中其内部的class为 wrapper的节点，接着进一步选中其内部的class为text的p节点。这就是CSS选择器，其筛选功能非常强大。
另外，CSS 选择器还有一些其他语法规则，如表1-4所示。