C#使用webclient获取搜狐网页内容的乱码问题

这几天使用c#的webclient进行网站页面内容的获取，但是在获取搜狐网页内容时，总是乱码。开始以为是编码的问题，但是不管使用gb2312、gbk、utf8，最终的结果都是乱码，代码如下：
                        WebClient wc = new WebClient();
                        byte[] btWeb = wc.DownloadData(strUrl);
                        string strWeb = System.Text.Encoding.GetEncoding("GBK").GetString(btWeb);
        最后通过google发现是因为搜狐网站页面进行了压缩导致，为便于学习与保存，以下内容摘抄自扩展WebClient支持gzip,deflate压缩页面的自解压，解决乱码问题页面内容：

       为了加快页面的下载速度，提升WEB服务器的性能，现在的很多网站，都开启了页面的压缩输出功能，常用的 gzip 和 deflate 。 

        在 .NET 平台上，做网页采集，常用的方式是使用 HttpWebRequest 和 WebClient。

        HttpWebRequest 是对 WebRequest 的http协议的实现。而WebClient是对HttpWebRequest的一个轻量级的封装。

        HttpWebRequest 功能完备，强大，但是使用较繁琐，相比之下，WebClient 就简单易用多了，但是，这个简单也是必定有代价的，那就是精简了很多HttpWebRequest具备的功能，例如：WebClient对Cookie的支持就被砍掉了。本文作者δCat http://rtmd.net

        从 .NET 2.0 开始，WebRequest就具备了对压缩网页自解压的功能。实现的代码，大致如下：  

        HttpWebRequest hwr = (HttpWebRequest)WebRequest.Create(url);

        hwr.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;

         很明显，就是 AutomaticDecompression 这个属性的使用，但是这个属性的默认值是 DecompressionMethods.None 。

        正是这个功能，在 WebClient 的实现里，也被精简掉了，导致 WebClient 继承来的 WebRequest 的 AutomaticDecompression 属性不能被更改。

        从而出现了，使用WebClient获取被压缩的页面时，虽然指定了正确的编码，但返回的Html依旧是乱码,而事实上这并不是乱码，而是压缩后的html内容。

        下面我们对WebClient进行一个继承并扩展，让它支持自解压。

public class XWebClient : WebClient {  
            protected override WebRequest GetWebRequest(Uri address) {  
                HttpWebRequest request = base.GetWebRequest(address) as HttpWebRequest;  
                request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;  
                return request;  
            }  
 } 

        上面的代码，我们新建了一个XWebClient类，继承自WebClient，然后，重载了WebClient的GetWebRequest事件，将AutomaticDecompression属性的值，改为默认支持压缩。

        剩下的，就使用XWebClient来代替WebClient，完成获取网页内容的工作

PS：源地址：http://china.ygw.blog.163.com/blog/static/687197462014013105742966/

 

转载于:https://www.cnblogs.com/Ryansky/p/4127955.html