本人是一名编程的新手
在C#中,我写了一个爬虫的小功能,做成form窗体程序的过程中遇到一个问题,使用HttpWebRequest和HttpWebResponse的过程中,在运行时总是无端卡死,而且总卡在一个点上,保存了第一个内容,第二个怎么也保存不了,通过了解相关的问题,我发现问题出在http连接数上。
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("utf-8"));
//reader.ReadToEnd() 表示取得网页的源码
string html = Convert.ToString(reader.ReadToEnd());
return html;
这样写下来,运行到第二个文件的时候就不能保存了。
我尝试修改http的最大连接数,但是不太成功,第一是没有找到可修改的地方,第二是这样的方法治标不治本,多次下载以后总有可能超过最大连接数。
我想在使用完http连接后及时关闭,最后发现仅需两行代码
response.Close();
request.Abort();
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("utf-8"));
//reader.ReadToEnd() 表示取得网页的源码
string html = Convert.ToString(reader.ReadToEnd());
response.Close();
request.Abort();
return html;
这样就能及时关闭http连接,不至于卡死了