爬虫、知识图谱和开源情报分析02

爬虫、知识图谱和开源情报分析02

出差回来，继续开始写这部分的内容。

上一篇主要介绍的爬虫的原理和基本的依赖库，这一篇主要讲讲爬虫的基本知识。

1 HTTP基本原理

这部分主要是计算机网络的知识，主要是为了让我们弄清楚从我们输入URL到爬虫返回网页内容之间发生了什么。

1.1 URI和URL

URI 的全称是Uniform Resource Identifier 统一资源标志符
URL的全称是Uniform Resource Locator 统一资源定位符
URL是URI的子集
URL就是我们要访问网页的地址，比如说我们要访问微博移动端，它的URL就是https://m.weibo.cn/

1.2 超文本

HTML和CSS属于前端的知识，这里只是略略讲一点
超文本的英文是Hypertext,我们在网页中看到的一切都是超文本解析出来的。大家有搞过前端的朋友就知道，我们在html和CSS js这些框架中把我们要编辑的网页的内容，包括文本、图像、视频超链接等等编辑好然后就可以发布了。
为什么要了解超文本呢？
因为我们用爬虫爬取的网页内容，它的原始形态是超文本，也就是网页管理人员编辑好的，那么我们要从中提取我们真正需要的内容，文本、图像、视频等等，那么都需要用一些库去解析超文本。这些内容在之后会提到。
比方说这样