看到一个帖子上说用HttpWebRequest抓取的页面是乱码
http://topic.csdn.net/u/20090114/14/0301cde3-ce1b-488b-970d-9ba69d20a024.html?seed=1673955324
试了一下,确实如此!
在查看返回的标头httpWebResponse.Headers时发现有一句“Content-Encoding: deflate”,原来网页是由deflate压缩的。
知道问题就好办啦!.NET FrameWork已经提供了相应的类(GZipStream ,DeflateStream )来实现压缩和解压缩。
System.IO.Compression.DeflateStream responseStream =new System.IO.Compression.DeflateStream( httpWebResponse.GetResponseStream(),System.IO.Compression.CompressionMode.Decompress); StreamReader streamReader = new StreamReader(responseStream, encoding); string html = streamReader.ReadToEnd();