【Python 爬虫基础】初见 Python 网络爬虫

为什么要做网页抓取

如果你上网的唯一方式就是用浏览器，那么你其实错过了很多种可能。虽然浏览器可以更方便地执行 Javascript、显示图片，并且可以以更适合人类阅读的形式展示数据，但是网络爬虫收集和处理大量数据的能力更为卓越。不像狭窄的显示器窗口一次只能让你看一个网页，网络爬虫可以让你一次查看几千甚至几百万个网页。

初见网络爬虫

1.网络连接

如果你没有在网络或网络安全上花过太多时间，那么互联网的原理可能看起来有点神秘。
我们通过下面的例子让你对浏览器获取信息的过程有一个基本的认识：
A 有一台网络服务器，B 有一台台式机正试图连接到 A 的服务器，当一台机器想与另一台机器对话时，下面的某个行为将会发生：

1. B 的电脑发送一串 1 和 0 的比特值，表示电路上的高低电压。这些比特构成了一种信息，包括请求头和消息体。。请求头包括当前 B 的本地路由器 MAC 地址和 A 的 IP 地址。消息体包含 B 对 A 服务器应用的请求。
2. B 的本地路由器收到所有 1 和 0 比特值，把它们理解成一个数据包（packet），从 B 自己的 MAC 地址寄到 A 的 IP 地址。他们的路由器把数据包“盖上”自己的 IP 地址作为“发件”地址，然后通过互联网发出去。
3. B 的数据包游历了一些中介服务器，沿着正确的物理 / 电路路径前进，到了 A 的服务器。
4. A 的服务器在他的 IP 地址收到了数据包。
5. A 的服务器读取数据包请求头里的目标端口，然后把它传递到对应的应用——网络服务器应用。（目标端口通常是网络应用的 80 端口，可以理解成数据包的“房间号”，IP 地址就是“街道地址”）
6. 网络服务器应用从服务器处理器收到一串数据，数据是这样的：
   — 这是一个 GET 请求。
   — 请求文件 Index.html
7. 网络服务器应用找到对应的 HTML 文件，把它打包成一个新的数据包发送给 B ，然后通过它的本地路由器发出去，用同样的过程回传到 B 的机器上。

我们就这样实现了互联网。

但是在这场数据交换中，Web 浏览器完全没有参与。的确，Web 浏览器是一个非常有用的应用，它创建信息的数据包，命令操作系统发送它们，然后把你获取的数据解释成漂亮的图像、声音、视频和文字。但是，Web 浏览器就是代码，而代码可以分解成许多基本组件，可重写、重用，以及做成我们想要的任何东西。

Web 浏览器可以让处理器将数据发送到那些对接无线（或有线）网络接口的应用上，但是你可以用短短的 3 行 Python 代码实现这些功能：

from urllib.request import urlopen

html = urlopen('http://pythonscraping.com/pages/page1.html')
print(html.read())

你可以把上面这段代码保存为 scrapetest.py，然后在终端运行如下命令：

  python scrapetest.py

这将会输出http://pythonscraping.com/pages/page1.html这个网页的全部 HTML 代码。更准确地说，这会输出在域名为 http://pythonscraping.com 的服务器上 < 网络应用根地址 >/pages 文件夹里的 HTML 文件 page1.html 的源代码。

为什么将这些地址理解为“文件”而不是“页面”非常关键呢？现在大多数网页需要加载许多相关的资源文件，可能是图像文件、JavaScript 文件、CSS 文件，或你需要连接的其他各种网页内容。当 Web 浏览器遇到一个标签时，比如:

<img src="cuteKitten.jpg">

会向服务器发起另一个请求，以获取 cuteKitten.jpg 文件中的数据为用户充分渲染网页。

当然，你的 Python 程序没有返回并向服务器请求多个文件的逻辑，它只能读取你直接请求的单个 HTML 文件。

from urllib.request import urlopen

上面的代码其实已经表明了它的含义：它查找 Python 的 request 模块（在 urllib 库里面），只导入 urlopen 函数。

urllib 是 Python 的标准库（就是说你不用额外安装就可以运行这个例子），包含了从网页请求数据，处理cookie，甚至改变像请求头和用户代理这些元数据的函数。

urlopen 用来打开并读取一个从网络获取的远程对象。它是一个非常通用的函数（可以轻松读取 HTML文件，图像，文件或其他任何文件流）