各网页的html的编码及压缩方式都不一样,对于一般的网页采用简单的设置就可以 webclinet就OK
但有些网页却不行。它采用了Gzip的压缩方式。因此要采用多元化的采集。。
WebClient wba = new WebClient();
//一定要加以下二行。否则部分网页采集出错 。
wba.Headers.Add("Accept-Encoding", "gzip, deflate");
wba.Headers.Add("User-Agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MS-RTC LM 8; InfoPath.2; .NET4.0C; .NET4.0E)");
byte[] sts = wba.DownloadData("http://www.39.net/");
return Encoding.GetEncoding(0).GetString(sts);
建议使用HttpRequest来下载html代码,他能自动地解压 Gzip
必须 User-Agent和Accept-Encodingr
有这两个header就能获取
有这两个header就能获取
HttpWebRequest 能自动解码 gzip 和 deflate的压缩