HttpWebRequest请求超时的错误

最新推荐文章于 2023-03-16 08:35:49 发布
最新推荐文章于 2023-03-16 08:35:49 发布
阅读量1.9k 收藏
点赞数
分类专栏： C#开发-winform 文章标签： redirect 多线程

  从网上抓取点数据,其间要创建两个HttpWebRequest,第一个请求发送成功后,将服务端返回的Cookie记录下来给第二个HttpWebRequest使用.代码敲完了就执行吧,但请求到20次左右,总是会出现"请求超时"的错误,找了N久也没找到问题在哪里.

        开始,我以为是服务端限制了请求数量,于是,找了些代理IP,每个HttpWebRequest分配一个WebProxy,但是问题依然存在,于是我把Timeout属性改到5000ms,然后再Catch,在Catch中再设置一个失败的标识,Catch完后如果发现标识为失败,则继续发送请求,直到请求成功为止,执行了N长时间,还是在20次左右卡住了,程序一直在不停的try,catch,仍然没有往下继续的意思.

        没办法,网上搜了一下,没找到对应的数据,后来在园子里一个朋友不太相关的文章中找到了答案,一看,似乎以前就碰到过这个问题,唉,记性不好了,还是记下来吧,免得下次碰到又满世界的去找.

        其实没有什么大问题,问题就是我第一个HttpWebRequest在GetResponse之后,忘记将取得的WebResponse.Close掉.原来这个Close还负责释放资源啊...

        改改代码,加了一行代码,将WebResponse.Close掉后,一切恢复正常.

        (单线程的情况下,关闭掉WebResponse就可以了,多线程的情况下似乎要设置一下WebRequest.ServicePoint.ConnectionLimit属性)

       顺便记一下:HttpWebRequest有个AllowAutoRedirect,可以设置是否允许服务端Redirect,默认为true,特殊情况下需要设置为false.

参考网址：http://www.cnblogs.com/robot/archive/2009/06/10/1500085.html

zengxin2008
关注
专栏目录
为啥HttpWebRequest 操作超时,但实际上服务器已经返回了数据?
liuji0517的博客
06-18 2722
System.Net.WebException:“操作超时”。 我是用了netcore写了一个服务。 [Route("api/[controller]")] publicclassValuesController:Controller { [HttpGet] publicIEnumerable<string>Get() { List<string>ss...
C# Http请求偶尔超时+总结各种超时死掉的可能和相应的解决办法
rztyfx的专栏
03-27 4067
【问题】 用C#模拟网页登陆，其中去请求几个页面，会发起对应的http的请求request，其中keepAlive设置为true，提交请求后，然后会有对应的response： resp = (HttpWebResponse)req.GetResponse(); 之前的多次调试，一直都是可以正常获得对应的response，然后读取html页面的。 但是后来几次的调试，在没有改变代码的前提下，结果GetResponse却始终会超时死掉。 【解决过程】 1.默认request的timeout是1.
HttpWebRequest卡住的问题
04-02 889
从网上抓取点数据,其间要创建两个HttpWebRequest,第一个请求发送成功后,将服务端返回的Cookie记录下来给第二个HttpWebRequest使用.代码敲完了就执行吧,但请求到20次左右,总是会出现"请求超时"的错误,找了N久也没找到问题在哪里.         开始,我以为是服务端限制了请求数量,于是,找了些代理IP,每个HttpWebRequest分配一个WebProxy,但
HttpWebRequest操作已超时
weixin_30376509的博客
04-22 1408
最近我们使用.NET3.5HttpWebRequest会报操作已超时但使用.NET4.0版本及以上却可以正常访问。 一段简单的代码如下： string returnData = ""; try { HttpWebRequest webReq = (HttpWebRequest)WebRequest.Create(url); ...
物理网络正常而HttpWebResponse的GetResponse依然经常超时的解决办法
kuangben2000的博客
09-11 1566
物理网络正常而HttpWebResponse的GetResponse依然经常超时的解决办法 https://blog.csdn.net/kuangben2000/category_6697241.html 用C#模拟网页登陆，其中去请求几个页面，会发起对应的http的请求request，其中keepAlive设置为true，提交请求后，然后会有对应的response： resp = (HttpWebResponse)req.GetResponse(); 之前的多次调试，一直都是可以正常获得对应的re
C#同时异步发起两个HttpWebRequest卡死
youyudexiaowangzi的专栏
10-16 3719
private static HttpWebRequest CreatePostHttpWebRequest(string url, string postData) { var postRequest = HttpWebRequest.Create(url) as HttpWebRequest; postReque...
C#基于HttpWebRequest实现发送HTTP请求的方法分析
08-26
4. **请求头设置**：如果需要设置额外的请求头，可以通过`httpWebRequest.Headers.Add()`方法添加。 5. **HTTPS支持**：如果目标URL是HTTPS，`HttpWebRequest`会自动处理SSL/TLS连接，无需特殊处理。 通过这些基本...
HttpWebRequest的常见错误使用TcpClient可避免
10-27
这可能是由网络问题、服务器异常或者客户端请求超时等原因造成的。 ***.ProtocolViolationException:无法发送具有此谓词类型的内容正文。这个异常发生在尝试发送一个不符合HTTP协议规定的请求方法或者内容正文类型...
C#(Csharp)多线程HTTP并发请求(HttpWebRequest)采集蜘蛛
12-30
同时，合理设置超时、重试策略以及错误处理机制也是保证爬虫稳定运行的关键。 总之，C#的多线程并发HTTP请求机制结合HttpWebRequest类，为开发高效网络爬虫提供了强大的工具。通过良好的设计和优化，可以构建出能够...
【已解决】HttpWebRequest的GetResponse或GetRequestStream偶尔超时 + 总结各种超时死掉的可能和相应的解决办法
zam183的博客
04-30 1459
https://www.crifan.com/fixed_problem_sometime_httpwebrequest_getresponse_timeout/ 【问题】 用C#模拟网页登陆，其中去请求几个页面，会发起对应的http的请求request，其中keepAlive设置为true，提交请求后，然后会有对应的response： resp = (HttpWebResponse)...
C#-WebRequest 超时不起作用
云海唯C的专栏
07-10 1729
//WebRequest request = WebRequest.Create(uri); HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(uri); //request.Timeout = Timeout.Infinite; request.Timeout = 20000; //request.Al
解决HttpWebRequest写入数据“操作超时”错误
alco3232的博客
12-02 1098
背景：某学校的某系统很脆弱，想要写了一个暴力破解密码的程序，从而得到学生的一些信息。 过程中遇到的问题： 在一个循环中尝试逐个验证可能的密码，但是在第三次的时候出现了“操作超时的错误”，调试发现是向请求流【HttpWebRequest.GetRequestStream()】写入数据的时候出错。当时很郁闷，我还没有post数据，怎么出错了？难道是密码多次错误，不能再尝试了。但...
HttpWebRequest 使用
流星雨的博客
02-24 1506
1、创建请求 /// <summary> /// 创建请求 /// </summary> /// <param name="url">请求地址</param> /// <param name="httpway">请求方式</param> /// <param name="isformdata">是否表单</param>
HttpWebRequest类详解
有梦想的菜鸟
12-05 6201
HttpWebRequest类与HttpRequest类的区别。       HttpRequest类的对象用于服务器端，获取客户端传来的请求的信息，包括HTTP报文传送过来的所有信息。而HttpWebRequest用于客户端，拼接请求的HTTP报文并发送等。       HttpWebRequest这个类非常强大，强大的地方在于它封装了几乎HTTP请求报文里需要用到的东西，以致于能够能够发送任意...
C#中使用HttpWebRequest请求接口
csdn18529124315的博客
09-01 971
C#中使用HttpWebRequest请求接口
用httpwebrequest,request，多线程时必须注意的问题
热门推荐
superhoy的专栏
01-21 1万+
1. httpwebrequest默认最多支持2个线程，，无论你多少个new thread都没意义，，后台同时工作的就2个，，，这问题郁闷我了不少时间，，为什么线程多的很，但网络用不光，前期以为是只用那么多带宽的问题，后来用了别人个用易语言写的程序才知道有问题。。 解决方法是在load中加入。。     ServicePointManager.DefaultConnectionLimi
HttpWebRequest类库注意事项以及常见问题
anfeng4628的博客
12-29 207
ServicePoint: 提供HTTP连接的连接管理ServicePointManager: 管理ServicePoint 对象的集合 注意事项:1. 将http的request的keepAlive设置为false //如果不是必须的要keepalive的，那么就要设置KeepAlive为false, 默认是True 2. 修改System.Net.ServicePointMan...
python-requests请求超时解决方案
IT之一小佬的博客
03-16 6225
python程序根据url从互联网上批量获取数据时，设置HTTP或Socket超时，来防止爬虫爬取某个页面时间过长，导致程序卡置不前。
HttpWebRequest使用注意（发生阻塞的解决办法）
weixin_34406061的博客
10-19 4684
HttpWebRequest使用注意（发生阻塞的解决办法） HttpWebResponse myResponse = null; Stream reqStream = null; Stream resStream = null; try { ...
C# HttpWebRequest 超时重试次数如何设置
最新发布
09-13
在C#中，HttpWebRequest是用于发送HTTP请求的基础类。如果你想要设置超时重试次数，通常需要自定义一些逻辑来处理网络请求可能出现的超时错误。因为HttpWebRequest本身并没有直接提供自动重试的机制。 以下是简单的步骤： 1. 创建`HttpWebRequest`实例并设置基础超时时间： ```csharp HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://example.com"); request.Timeout = TimeSpan.FromSeconds(30); // 设置默认超时时间为30秒 ``` 2. 在发送请求之前，你可以封装这个操作，并添加一个循环结构，比如最多重试5次： ```csharp int retryCount = 0; while (retryCount < 5) { try { using (HttpWebResponse response = (HttpWebResponse)request.GetResponse()) { // 请求成功，处理响应 } break; // 如果没有异常，则跳出循环 } catch (WebException ex) { if (ex.Status == WebExceptionStatus.ConnectTimeout || ex.Status == WebExceptionStatus.ReadTimeout) { // 网络超时，增加重试次数 retryCount++; if (retryCount < 5) // 如果还有重试机会 continue; else { // 超过最大重试次数，抛出异常或记录日志 throw new AggregateException("所有重试都失败了", ex); } } else { throw; // 其他类型的异常直接抛出 } } } ``` 在这个例子中，如果遇到连接或读取超时，会增加一次重试，直到达到最大重试次数5次。当然，实际应用中你可能还需要根据具体需求调整其他细节，如判断是否应该等待一段时间再重试等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值