【Python 爬虫基础】初见 Python 网络爬虫

初见网络爬虫

1.网络连接

如果你没有在网络或网络安全上花过太多时间，那么互联网的原理可能看起来有点神秘。
我们通过下面的例子让你对浏览器获取信息的过程有一个基本的认识：
A 有一台网络服务器，B 有一台台式机正试图连接到 A 的服务器，当一台机器想与另一台机器对话时，下面的某个行为将会发生：

1. B 的电脑发送一串 1 和 0 的比特值，表示电路上的高低电压。这些比特构成了一种信息，包括请求头和消息体。。请求头包括当前 B 的本地路由器 MAC 地址和 A 的 IP 地址。消息体包含 B 对 A 服务器应用的请求。
2. B 的本地路由器收到所有 1 和 0 比特值，把它们理解成一个数据包（packet），从 B 自己的 MAC 地址寄到 A 的 IP 地址。他们的路由器把数据包“盖上”自己的 IP 地址作为“发件”地址，然后通过互联网发出去。
3. B 的数据包游历了一些中介服务器，沿着正确的物理 / 电路路径前进，到了 A 的服务器。
4. A 的服务器在他的 IP 地址收到了数据包。
5. A 的服务器读取数据包请求头里的目标端口，然后把它传递到对应的应用——网络服务器应用。（目标端口通常是网络应用的 80 端口，可以理解成数据包的“房间号”，IP 地址就是“街道地址”）
6. 网络服务器应用从服务器处理器收到一串数据，数据是这样的：
   — 这是一个 GET 请求。
   — 请求文件 Index.html
7. 网络服务器应用找到对应的 HTML 文件，把它打包成一个新的数据包发送给 B ，然后通过它的本地路由器发出去，用同样的过程回传到 B 的机器上。

我们就这样实现了互联网。

但是在这场数据交换中，Web 浏览器完全没有参与。的确，Web 浏览器是一个非常有用的应用，它创建信息的数据包，命令操作系统发送它们，然后把你获取的数据解释成漂亮的图像、声音、视频和文字。但是，Web 浏览器就是代码，而代码可以分解成许多基本组件，可重写、重用，以及做成我们想要的任何东西。

Web 浏览器可以让处理器将数据发送到那些对接无线（或有线）网络接口的应用上，但是你可以用短短的 3 行 Python 代码实现这些功能：

from urllib.request import urlopen

html = urlopen('http://pythonscraping.com/pages/page1.html')
print(html.read())

你可以把上面这段代码保存为 scrapetest.py，然后在终端运行如下命令：

  python scrapetest.py

这将会输出http://pythonscraping.com/pages/page1.html这个网页的全部 HTML 代码。更准确地说，这会输出在域名为 http://pythonscraping.com 的服务器上 < 网络应用根地址 >/pages 文件夹里的 HTML 文件 page1.html 的源代码。

为什么将这些地址理解为“文件”而不是“页面”非常关键呢？现在大多数网页需要加载许多相关的资源文件，可能是图像文件、JavaScript 文件、CSS 文件，或你需要连接的其他各种网页内容。当 Web 浏览器遇到一个标签时，比如:

<img src="cuteKitten.jpg">

会向服务器发起另一个请求，以获取 cuteKitten.jpg 文件中的数据为用户充分渲染网页。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）