Python爬虫学习笔记（二）——网页基础

最新推荐文章于 2022-05-30 20:09:00 发布

自学也学好编程

最新推荐文章于 2022-05-30 20:09:00 发布

阅读量222

点赞数

分类专栏： python爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_51335325/article/details/115921049

版权

python爬虫专栏收录该内容

9 篇文章

订阅专栏

文章目录

Python爬虫
- 第二章爬虫基础
- - 第2节网页基础

Python爬虫

第二章爬虫基础

第2节网页基础

一、网页的组成

网页可以分为三大部分一一HTML , CSS 和JavaScript 。如果把网页比作一个人的话， HTML 相当于骨架， JavaScript 相当于肌肉， CSS相当于皮肤，三者结合起来才能形成一个完善的网页。
HTML

网页包括文字、按钮、图片和视频等各种复杂的元素，其基础架构就是HTML。不同类型的文字通过不同类型的标签来表示，如图片用img 标签表示，视频用video标签表示，段落用p标签表示，它们之间的布局又常通过布局标签div嵌套组合而戚，各种标签通过不同的排列和嵌套才形成了网页的框架。

开发者模式下的Elements 选项卡中即可看到网页的源代码

在这里插入图片描述

这就是HTML ，整个网页就是由各种标签嵌套组合而成的。这些标签定义的节点元素相互嵌套和组合形成了复杂的层次关系，就形成了网页的架构。

CSS
- HTML 定义了网页的结构，但是只有HTML 页面的布局并不美观，可能只是简单的节点元素的排
  列，为了让网页看起来更好看一些，这里借助了CSS。
- CSS，全称叫作Cascading Style Sheets，即层叠样式表。“层叠”是指当在HTML 中引用了数个样式文件，并且样式发生冲突时，浏览器能依据层叠顺序处理。“样式”指网页中文字大小、颜色、元素间距、排列等格式。

在这里插入图片描述

上图的右侧就是CSS

大括号前面是一个css 选择器。此选择器的意思是首先选中id 为head_wrapper且class 为s-ps-islite 的节点，然后再选中其内部的class 为s-p-top 的节点。大括号内部写的就是一条条样式规则，例如position 指定了这个元素的布局方式为绝对布局， bottom 指定元素的下边距为40 像素， width 指定了宽度为100% 占满父元素， height 则指定了元素的高度。也就是说，我们将位置、宽度、高度等样式配置统一写成这样的形式，然后用大括号括起来，接着在开头再加上CSS选择器，这就代表这个样式对CSS选择器选中的元素生效，元素就会根据此样式来展示了。
在网页中，一般会统一定义整个网页的样式规则，并写人css 文件中（其后缀为css ）。在HTML
中，只需要用link 标签即可引人写好的css 文件，这样整个页面就会变得美观、优雅。

JavaScript
- JavaScript ，简称JS，是一种脚本语言。HTML 和css 配合使用，提供给用户的只是一种静态信息，缺乏交互性。我们在网页里可能会看到一些交互和动画效果，如下载进度条、提示框、轮播图等，这通常就是JavaScript 的功劳。它的出现使得用户与信息之间不只是一种浏览与显示的关系，而是实现了一种实时、动态、交互的页面功能。
- JavaScript 通常也是以单独的文件形式加载的，后缀为js ，在HTML 中通过script 标签即可引入。
综上所述， HTML 定义了网页的内容和结构， css 描述了网页的布局， JavaScript 定义了网页的
行为。

二、网页的结构

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>This is a Demo</title>
</head>
<body>
<div id="container">
<div class="wrapper">
<h2 class="title">Hello World</h2>
<p class="text">Hello,this is a paragraph.</p>
</div>
</div>
</body>
</html>

开头用DOCTYPE 定义了文档类型，其次最外层是html标签，最后还有对应的结束标签来表示闭合，其内部是head标签和body标签，分别代表网页头和网页体，它们也需要结束标签。head 标签内定义了一些页面的配置和引用，如指定了网页的编码为UTF-8。
title标签则定义了网页的标题，会显示在网页的选项卡中，不会显示在正文中。body标签内则是在网页正文中显示的内容。div标签定义了网页中的区块，它的id是container ，这是一个非常常用的属性，且id的内容在网页中是唯一的，我们可以通过它来获取这个区块。然后在此区块内又有一个div标签，它的class 为wrapper ，这也是一个非常常用的属性，经常与CSS配合使用来设定样式。然后此区块内部又有一个h2标签，这代表一个二级标题。另外，还有一个p标签，这代表一个段落。在这两者中直接写入相应的内容即可在网页中呈现出来，它们也有各自的class属性。

在这里插入图片描述

可以看到，在选项卡上显示了This is a Demo 字样，这是我们在head 中的title 里定义的文字。而网页正文是body 标签内部定义的各个元素生成的，可以看到这里显示了二级标题和段落。

一个网页的标准形式是html标签内嵌套head和body 标签， head内定义网页的配置和引用，body内定义网页的正文。

三、节点树和节点间的关系

根据W3C 的HTML DOM 标准， HTML 文档中的所有内容都是节点。
- 整个文档是一个文档节点。
- 每个HTML 元素是元素节点。
- HTML 元素内的文本是文本节点。
- 每个HTML 属性是属性节点。
- 注释是注释节点。
HTML DOM 将HTML 文档视作树结构，这种结构被称为节点树。

节点数

通过 HTML DOM，树中的所有节点均可通过 JavaScript 进行访问。所有 HTML 元素（节点）均可被修改，也可以创建或删除节点。

节点树中的节点彼此拥有层级关系。我们常用父（parent ）、子（child）和兄弟（sibling）等术语描述这些关系。父节点拥有子节点，同级的子节点被称为兄弟节点。

四、选择器

我们知道网页由一个个节点组成， css 选择器会根据不同的节点设置不同的样式规则。
在CSS中，我们使用CSS选择器来定位节点。例如，上例中div节点的id 为container，那么就可以表示为**＃ container**，其中＃开头代表选择id ，其后紧跟id 的名称。另外，如果我们想选择class为wrapper的节点，便可以使用**.wrapper** ，这里以点（．）开头代表选择class，其后紧跟class的名称。另外，还有一种选择方式，那就是根据标签名筛选，例如想选择二级标题，直接用h2即可。这是最常用的3种表示，分别是根据id、class 、标签名筛选。
另外，CSS选择器还支持嵌套选择，各个选择器之间加上空格分隔开便可以代表嵌套关系，如#container.wrapper，p则代表先选择id为container的节点，然后选中其内部的class 为wrapper 的节点，然后再进一步选中其内部的p 节点。另外，如果不加空格，则代表并列关系，如div#container . wrapperp.text代表先选择id为container 的div节点，然后选中其内部的class为wrapper的节点，再进一步选中其内部的class为text的p节点。