C#实战 - 使用 C# 编写简单的网页爬虫

作者：逍遥Sean
简介：一个主修Java的Web网站\游戏服务器后端开发者
主页：https://blog.csdn.net/Ureliable
觉得博主文章不错的话，可以三连支持一下~ 如有疑问和建议，请私信或评论留言！

前言
在本篇博文中，我们将介绍如何使用 C# 编写一个简单的网页爬虫，来获取指定网页的内容。我们将使用 .NET Core 环境，并依赖于 HtmlAgilityPack 库来解析 HTML。让我们逐步实现这个爬虫的过程。

准备工作

1. 安装 HtmlAgilityPack 库

   HtmlAgilityPack 是一个流行的 HTML 解析库，用于处理 HTML 文档的结构和内容。您可以通过 NuGet 管理器或者命令行安装它：

   Install-Package HtmlAgilityPack
   

2. 创建一个新的 .NET Core 项目

   打开 Visual Studio 或者使用命令行工具创建一个新的 .NET Core 控制台应用程序：

   dotnet new console -n SimpleWebCrawler
   cd SimpleWebCrawler
   

3. 引用所需的命名空间

   在程序的顶部引入需要的命名空间：

   using HtmlAgilityPack;
   using System;
   using System.Net.Http;
   using System.Threading.Tasks;
   

实现网页爬虫

现在，让我们开始编写网页爬虫的代码。以下是一个简单的示例，演示如何获取指定网页的标题和所有的链接。

using HtmlAgilityPack;
using System;
using System.Net.Http;
using System.Threading.Tasks;

class Program
{
    static async Task Main(string[] args)
    {
        string url = "https://example.com"; // 设置要爬取的网页 URL

        var httpClient = new HttpClient();
        var html = await httpClient.GetStringAsync(url);

        var htmlDocument = new HtmlDocument();
        htmlDocument.LoadHtml(html);

        // 获取网页标题
        var titleNode = htmlDocument.DocumentNode.SelectSingleNode("//title");
        string title = titleNode.InnerText.Trim();

        Console.WriteLine($"网页标题: {title}");

        // 获取所有链接
        var linkNodes = htmlDocument.DocumentNode.SelectNodes("//a[@href]");
        Console.WriteLine("\n所有链接:");
        foreach (var linkNode in linkNodes)
        {
            string link = linkNode.Attributes["href"].Value;
            Console.WriteLine(link);
        }
    }
}

解释代码

• HttpClient：用于发起 HTTP 请求并获取网页内容。
• HtmlDocument 和 HtmlNode：来自 HtmlAgilityPack，用于解析和查询 HTML 文档的节点和内容。
• Main 方法：程序的入口点，异步执行网页爬取操作。
• url 变量：指定要爬取的网页地址。

运行结果

编译并运行程序，将会输出指定网页的标题和所有链接：

网页标题: Example Domain

所有链接:
https://www.iana.org/domains/example

结论

通过这篇博文，我们学习了如何使用 C# 编写一个简单的网页爬虫，获取网页的标题和所有链接。这只是一个入门级的示例，您可以根据实际需求扩展功能，例如存储数据、处理异常或者实现更复杂的爬取逻辑。希望这篇文章能帮助您开始探索和应用 C# 中的网页爬虫技术！