C# HttWebRequest 网页数据抓取是出现的错误情况

1.服务器提交了协议冲突. Section=ResponseHeader Detail=CR 后面必须是 LF

意思是微软没有容忍不符合RFC 822中的httpHeader必须以CRLF结束的规定的服务器响应。

一个解决方案是在application.config或web.config文件里加入

  <system.net>

    <settings>

      <httpWebRequest useUnsafeHeaderParsing="true" />

    </settings>

  </system.net>

允许系统容忍（tolerant）只以CR或LF结尾的hearder信息

2.基础连接已经关闭: 服务器关闭了本应保持活动状态的连接。

只需要讲KeepAlive设置为false就可以了，有些网页是不需要保持连接的，具体的本质原因也不太清楚，有高手知道的，请指点迷津