C#利用WebBrower抓取网页中Ajax加载的内容

本文介绍如何使用C#的WebBrowser控件来抓取和解析网页中通过Ajax技术动态加载的数据。通过模拟浏览器行为,加载完整页面并执行JavaScript,从而获取原本需要交互后才能显示的信息。
摘要由CSDN通过智能技术生成
现在的网页有相当一部分是采用了AJAX技术,不管是采用C#中的WebClient还是HttpRequest都得不到正确的结果,因为这些脚本是在服务器发送完毕后才执行的! 
但我们用IE浏览页面时是正常的,所以解决方法只有1个就是采用WebBrowser控件 
但是使用Webbrowser你会发现,在DownloadComplete事件中,你根本无法知道页面何时才算是真正的加载完毕! 
当然个别有Frame的网页可能会触发多次Complete,即使你采用计数器的办法,即在Navigated事件中++,而在DownloadComplete中做--,也仍然不能得到JS完成执行后的结果,我开始也感觉到非常奇怪,直到后来GG了相关AJAX的文章,明白了其中原委. 
最终解决方案就是利用WebBrowser+Timer来解决抓取页面的问题 
而其中的关键仍然是页面状态,我们可以利用webBrowser1.StatusText,如果返回"完成",表示页面加载完毕! 

示例代码如下: 


private void timer1_Tick(object sender, EventArgs e)
        {        
            
             textBox1.Text += webBrowser1.StatusText;    
            if (webBrowser1.StatusText == "完成")
            {
                
                timer1.Enabled = false;
                //页面加载完成,做一些其它的事
                textBox1.Text += webBrowser1.Document.Body.OuterHtml;
                //webBrowser1.DocumentText 注意不要用这个,这个和查看源文件一样的
            }
        }     
        private void Form1_Load(object sender, EventArgs e)
        {
            string Url = "http://cd.mei8.cn/face/work/windex.aspx?btn=6";
            webBrowser1.Navigate(Url);
        }
  

  


          放三个控件,webBrowser,timer,textBox timer设置为可用

 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值