ip16yun的博客

网络爬行是使用自动化程序从网站提取数据的过程。在这种情况下，Pythonnet可以弥合 Python 和 .NET 之间的差距，使网络爬虫能够从 Python 代码访问 .NET 功能。Pythonnet是一个包，提供了与 .NET 公共语言运行时 (CLR) 近乎无缝的集成，为 Python 程序员和 .NET 开发人员提供了强大的应用程序脚本工具。Pythonnet允许将 .NET 程序集和命名空间导入为 Python 模块和包，以及从 Python 代码调用 .NET 方法和属性，反之亦然。

上述程序运行后，将抓取https://www.booking.com网站上的酒店名字和评价，并将其保存为名为"hotels.csv"的CSV文件。在CSV文件中，每一行包含酒店名字和对应的评价。HTMLAgilityPack是一款备受欢迎的用于解析和操作HTML文档的库。在使用之前，开发者需要考虑一些优缺点。

一般来说，使用委托与 ThreadPool 或 Task 比创建和管理自己的线程更高效和方便。采集过程是异步的，使用 async/await 关键字实现，同时使用动态转发代理IP提高采集效率。委托和线程之间的区别在于，委托是一种引用方法的方式，而线程是一种执行方法的方式。可以使用委托在不同的线程上调用方法，要么使用委托的 BeginInvoke 和 EndInvoke 方法，要么使用 ThreadPool 或 Task 类。委托是一种表示对具有特定参数列表和返回类型的方法的引用的类型。