HtmlAgilityPack 抓取异步数据

HtmlWeb web = new HtmlWeb();
                //Encoding e = Encoding.GetEncoding("GB2312");//设置Encoding
                //web.OverrideEncoding = e;

                var htmlDoc = web.LoadFromBrowser(string.Format(Program.MainUrl,link), o =>
                {
                    var webBrowser = (System.Windows.Forms.WebBrowser)o;
                    System.Threading.Thread.Sleep(3000);
                    //等待直到动态文本被设置
                    //return !string.IsNullOrEmpty(webBrowser.Document.GetElementById("appMain").InnerText);//vue id 基本没得。只有等待3秒,足够完成加载
                    return true;
                });

                var area = htmlDoc.DocumentNode.SelectSingleNode("//*[@id=\"appMain\"]/div/div[3]/div[6]/div[1]/div/table/tr[2]/td[2]").InnerText;

1.针对站点的Encoding设置对应的即可

2.异步加载的数据,利用LoadFromBrowser的方式即可,原本正常应该查找数据是否加载出来,vue的id基本没得,直接等待3秒,完事。

剩下的就可以愉快的复制Xpath了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值