如何抓取WebClient、HttpWebRequest、WebRequest无法获取的网页源码，下面将为你解答

//由于我所抓取的网页有多个困难，1、以上三种无法获取到源码，无论设置何种头部请求都没用，2、单独只用webbrowser无法进行翻页操作。所以用webbrowser与IE结合来抓取 
//本项目流程——先打开IE、再用MSHtml里的方法操作IE表单，进行翻页,将列表中的网址在webbrowser一一打开，这样才获取得到源码。
这个项目的意义在于，无论网站是何种方式加载，都可以抓取到内容。
项目源码在文章最后。

 

>>>阅读全文