爬取指定搜索页的HTML

前言

随着互联网的普及，搜索引擎成为了我们获取信息的重要工具。Sogou搜索引擎作为中国知名的搜索引擎之一，每天为数亿用户提供搜索服务。然而，对于许多用户来说，他们可能只关注搜索结果，而忽略了这些结果背后的HTML代码。这些代码不仅包含了网页的结构和内容，还隐藏了许多有用的信息。

为了帮助用户更好地理解Sogou搜索引擎的搜索结果，以及探索这些结果背后的HTML代码，我们编写了这段Python脚本。通过这个脚本，用户可以轻松地获取与输入的关键字相关的网页内容，并将这些内容保存为HTML文件。

请注意，使用此脚本获取其他网站的内容应遵循法律法规和网站的robots.txt文件的规定。不当的使用可能会违反版权或隐私权。在任何情况下，我们都强烈建议在使用此脚本之前仔细阅读相关法律和规定，并确保您的行为合法合规

这段代码是一个简单的Python脚本，用于从Sogou（搜狗）搜索引擎获取与输入的关键字相关的网页内容，并将这些内容保存

1.导入模块：

这行代码导入了Python的requests库，用于发送HTTP请求。

2. 设置URL:

这行代码设置了目标URL。这是一个Sogou搜索引擎的基本URL。这段url只需要用到“query”后面都不需要包括“query”，不然可能会出错。

3. 获取用户输入:

这行代码从用户那里获取一个输入，并将其值赋给变量ke。这可以使得我们获得想要的HTML。

4. 设置请求头:

这部分设置了请求头（herders），主要是定义了User-Agent，模拟了一个常见的浏览器访问。

5. 设置请求参数:

这部分设置了请求参数（parma），主要是将用户输入的关键字作为查询参数。

6. 发送GET请求:

使用requests.get()方法发送一个GET请求到目标URL，并传递了之前设置的参数和头部信息。请求的结果存储在response变量中。

7. 获取并保存网页内容:

这部分首先获取了响应的内容（即网页的HTML代码），然后根据用户输入的关键字生成了一个文件名，最后将HTML内容写入到这个文件中。这样，你就可以在文件系统中找到一个与关键字相关的HTML文件。这行代码只是在响应结束后打印一个感叹号作为提示，表明操作已完成。

总结

这段代码是一个简单的Python脚本，用于从Sogou搜索引擎获取与用户输入的关键字相关的网页内容，并将这些内容保存为一个HTML文件。以下是详细的步骤和功能解释：

1. 导入必要的模块：导入了Python的requests库，用于发送HTTP请求。
2. 设置URL：设置了一个Sogou搜索引擎的基本URL。
3. 获取用户输入：通过input()函数提示用户输入一个关键字，并将输入的值存储在变量ke中。
4. 设置请求头：定义了一个请求头（herders），模拟了一个常见的浏览器访问，其中包含User-Agent信息。
5. 设置请求参数：定义了一个请求参数（parma），将用户输入的关键字作为查询参数。
6. 发送GET请求：使用requests.get()方法发送一个GET请求到目标URL，并传递了之前设置的参数和头部信息。请求的结果存储在response变量中。
7. 获取并保存网页内容：
   • 获取响应的内容（即网页的HTML代码）并存储在变量page中。
   • 根据用户输入的关键字生成一个文件名，格式为“关键字.html”。
   • 使用with open()语句打开文件，以写入模式（“w”）和UTF-8编码将HTML内容写入到文件中。
8. 输出提示信息：在响应结束后打印一个感叹号作为提示，表明操作已完成。

需要注意的是，直接使用搜索引擎的爬虫功能可能会违反服务条款或法律，特别是当涉及到大量或自动化的请求时。在使用此类脚本之前，确保您了解并遵守相关法律和规定。