WebClient.DownLoadData下载网页内容

WebClient.DownloadData下载网页内容
正常得到的内容应该为
[img=http://img.bbs.csdn.net/upload/201707/18/1500349160_835235.png][/img]
不正常时有时出现下图现象
[img=http://img.bbs.csdn.net/upload/201707/18/1500348453_479511.jpg][/img]
获取网页内容代码:
               string strWebData = string.Empty;


                WebClient myWebClient = new WebClient();
                myWebClient.Credentials = CredentialCache.DefaultCredentials;
                myWebClient.Headers.Add("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)");


                byte[] myDataBuffer = myWebClient.DownloadData(url);
                strWebData = Encoding.Default.GetString(myDataBuffer);


                //获取网页字符编码描述信息
                if (charSet != null && charSet != string.Empty)
                {
                    strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);
                }
                else
                {
                    Match charSetMatch = Regex.Match(strWebData, "(?<=\"(T|t)(E|e)(X|x)(T|t)/(H|h)(T|t)(M|m)(L|l);[\\s]*?charset=)[\\s\\S]+?(?=\")");
                    if (charSetMatch.Success)
                    {
                        strWebData = Encoding.GetEncoding(charSetMatch.Value).GetString(myDataBuffer);
                    }
                }
此段代码,有时可下载到正常的网页内容,有时下载下来就是图片上那种内容,百思不得其解,不知道那种内容是什么格式,检查了Encoding的好几种转换,都不能解读,后来调试时,发现byte[] myDataBuffer 出来的字节数不相同,当byte[] myDataBuffer字节数不正常时,则出现图片内容,感觉是下载不全或者超时,顺着这个思路,再去搜索此类问题,突然就找到了,原来有可能是下载到的是压缩格式的内容。
根据这个思路,解压些段代码,原来就可以得到正确的内容


public static string gzFile(byte[] cbytes)
        {
            using (MemoryStream dms = new MemoryStream())
            {
                using (MemoryStream cms = new MemoryStream(cbytes))
                {
                    using (System.IO.Compression.GZipStream gzip = new System.IO.Compression.GZipStream(cms, System.IO.Compression.CompressionMode.Decompress))
                    {
                        byte[] bytes = new byte[1024];
                        int len = 0;
                        //读取压缩流,同时会被解压
                        while ((len = gzip.Read(bytes, 0, bytes.Length)) > 0)
                        {
                            dms.Write(bytes, 0, len);
                        }
                    }
                }
                return (Encoding.UTF8.GetString(dms.ToArray()));
            }
        }


当下载的内容,检查是压缩格式时,将myDataBuffer传入再进行解压,出来的内容则OK,终于解决。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值