【Python 爬虫基础】初见 Python 网络爬虫(1)

5. A 的服务器读取数据包请求头里的目标端口，然后把它传递到对应的应用——网络服务器应用。（目标端口通常是网络应用的 80 端口，可以理解成数据包的“房间号”，IP 地址就是“街道地址”）
6. 网络服务器应用从服务器处理器收到一串数据，数据是这样的：
   — 这是一个 GET 请求。
   — 请求文件 Index.html
7. 网络服务器应用找到对应的 HTML 文件，把它打包成一个新的数据包发送给 B ，然后通过它的本地路由器发出去，用同样的过程回传到 B 的机器上。

我们就这样实现了互联网。

但是在这场数据交换中，Web 浏览器完全没有参与。的确，Web 浏览器是一个非常有用的应用，它创建信息的数据包，命令操作系统发送它们，然后把你获取的数据解释成漂亮的图像、声音、视频和文字。但是，Web 浏览器就是代码，而代码可以分解成许多基本组件，可重写、重用，以及做成我们想要的任何东西。

Web 浏览器可以让处理器将数据发送到那些对接无线（或有线）网络接口的应用上，但是你可以用短短的 3 行 Python 代码实现这些功能：

from urllib.request import urlopen

html = urlopen('http://pythonscraping.com/pages/page1.html')
print(html.read())

你可以把上面这段代码保存为 scrapetest.py，然后在终端运行如下命令：

  python scrapetest.py

这将会输出http://pythonscraping.com/pages/page1.html这个网页的全部 HTML 代码。更准确地说，这会输出在域名为 http://pythonscraping.com 的服务器上 < 网络应用根地址 >/pages 文件夹里的 HTML 文件 page1.html 的源代码。

为什么将这些地址理解为“文件”而不是“页面”非常关键呢？现在大多数网页需要加载许多相关的资源文件，可能是图像文件、JavaScript 文件、CSS 文件，或你需要连接的其他各种网页内容。当 Web 浏览器遇到一个标签时，比如:

<img src="cuteKitten.jpg">

会向服务器发起另一个请求，以获取 cuteKitten.jpg 文件中的数据为用户充分渲染网页。

当然，你的 Python 程序没有返回并向服务器请求多个文件的逻辑，它只能读取你直接请求的单个 HTML 文件。

from urllib.request import urlopen

上面的代码其实已经表明了它的含义：它查找 Python 的 request 模块（在 urllib 库里面），只导入 urlopen 函数。

urllib 是 Python 的标准库（就是说你不用额外安装就可以运行这个例子），包含了从网页请求数据，处理cookie，甚至改变像请求头和用户代理这些元数据的函数。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）