PuppeteerSharp：网页数据爬取nuget包

最新推荐文章于 2024-08-12 09:05:42 发布

qq_30174147

最新推荐文章于 2024-08-12 09:05:42 发布

阅读量890

点赞数

分类专栏：工具 PuppeteerSharp 文章标签： c#

本文链接：https://blog.csdn.net/qq_30174147/article/details/107707976

版权

PuppeteerSharp是一个用于网页数据爬取的C#库，能处理动态加载的内容。它在页面加载完成后获取HTML，但会开启Chrome进程消耗资源，因此推荐使用单例模式，并在应用结束时妥善关闭。在遇到服务器卡死和高负载问题时，可能需要手动关闭过多的Chrome实例。

摘要由CSDN通过智能技术生成

一些页面的数据会通过js解密后才显示在html，若直接通过http请求是无法获取到需要解密的数据，使用该工具可在页面加载完后，该工具可获取页面加载完后的html。

/// <summary>
    /// 单例
    /// </summary>
    public static class ChromeFactory
    {
        internal static Browser browser { get; set; } =  Puppeteer.LaunchAsync(new LaunchOptions
        {
            Headless = true,
            Args = new[] {"--no-sandbox"},
        }).Result;

        private readonly static object lockObj = new object();
        public static async Task<Browser> GetBrowser()
        {
            if (browser == null)
            {
                lock (lockObj)
                {
                    if (browser ==null)
                    {
                        browser =  Puppeteer.LaunchAsync(new LaunchOptions
                        {
                            Headless = true,
                            Args = new[] { "--no-sandbox" },