HtmlAgilityPack HtmlWeb.Load() 不支持 gzip 的解决方法

这几天想做用现在比较流行的HtmlAgilityPack雨泽漫画重写下采集的功能,看了一些HtmlAgilityPack 的介绍,感觉非常好用,还内置了htmlWeb用来http请求。但是发现有的开启了gzip压缩的网页请求时会报错。

原来的代码如下:

1 HtmlWeb webClient = new HtmlWeb();
2 HtmlDocument doc = webClient.Load(this.getUrl());

报错信息为gzip”不是受支持的编码名。

在谷歌上搜索了半天,终于找到解决方案,而且不必更换HttpRequest或WebClient进行请求。同时还可以用此方法设置cookie,render伪装等等。。。
解决后代码如下:

1 HtmlWeb webClient = new HtmlWeb();
2 HtmlAgilityPack.HtmlWeb.PreRequestHandler handler = delegate(HttpWebRequest request)
3 {
4        request.Headers[HttpRequestHeader.AcceptEncoding] = "gzip, deflate";
5        request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;
6        request.CookieContainer = new System.Net.CookieContainer();
7        return true;
8 };
9 webClient.PreRequest += handler;
10 HtmlDocument doc = webClient.Load(this.getUrl());
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值