CodeProject上看见的感兴趣的文章，先研究着，有空翻译一下：

1. 抓取线程列表
2. 每个抓取线程的详细信息
3. 查看错误信息

线程查看
线程列表查看显示所有正在工作中的线程.每个线程从URI队列中取出一个URI,进行链接.

.

GET / HTTP/1.0
 Host: www.cnn.com
 Connection: Keep-Alive

 

HTTP/1.0 200 OK
 Date: Sun, 19 Mar 2006 19:39:05 GMT
 Content-Length: 65730
 Content-Type: text/html
 Expires: Sun, 19 Mar 2006 19:40:05 GMT
 Cache-Control: max-age=60, private
 Connection: keep-alive
 Proxy-Connection: keep-alive
 Server: Apache
 Last-Modified: Sun, 19 Mar 2006 19:38:58 GMT
 Vary: Accept-Encoding,User-Agent
 Via: 1.1 webcache (NetCache NetApp/6.0.1P3)

 

还有一个最近下载的页面的列表

Parsing page 
 Found: 356 ref(s)
 http://www.cnn.com/
 http://www.cnn.com/search/
 http://www.cnn.com/linkto/intl.html

 

1. MIME types
2. 存储目的文件夹
3. 最大抓取线程数
4. 等等...

文件类型

      爬虫支持的下载下来的文件类型,用户可以添加MIME类型,支持可下载的文件包括一个默认类型用来用户可添加,编辑和删除MIME类型. 用户可以选择让所有MIME类型为下列数字.

• Thread count: 多个并行工作的线程爬虫;
• Thread sleep time when refs queue empty: 当时每个threadsleeps当refs队列空;
• Thread sleep time between two connection: 时间,每一线程睡眠后处理的任何请求, 这是非常重要的参考价值,以防止主机堵爬虫由于沉重的负荷.
• Connection timeout: 代表连接超时的时间;
• Navigate through pages to a depth of: 代表深度;
• Keep same URL server: 限制爬行的过程中,以同样的主机了原来的URL.
• keepconnectionalive:手段不断Socket连接打开以后请避免reconnect时间.
  

高级

高级设置:
代码页编码的文本下载页面列出了用户定义列表限制词,让用户 防止任何坏页面列出了用户定义列表限制主机分机以免堵塞这类主机 名单一使用者定义限制档案清单分机避免paring非文字资料

兴趣要点

保持活动连接:
保持活动连接是一种形式,要求客户端和服务器保持连接打开后,反应完毕后, 可以通过添加一个HTTPheader的请求到服务器,在以下要求:

GET /CNN/Programs/nancy.grace/ HTTP/1.0
 Host: www.cnn.com
 Connection: Keep-Alive

"连接:保活"告诉服务器不会关闭连接, 但服务器的选择,把它打开或关闭它, 但应回复到客户端socket的决定. 所以服务器可以不断告诉客户,他将它打开了包括"连接: 保活"在他的replay如下:

 HTTP/1.0 200 OK
 Date: Sun, 19 Mar 2006 19:38:15 GMT
 Content-Length: 29025
 Content-Type: text/html
 Expires: Sun, 19 Mar 2006 19:39:15 GMT
 Cache-Control: max-age=60, private
 Connection: keep-alive
 Proxy-Connection: keep-alive
 Server: Apache
 Vary: Accept-Encoding,User-Agent
 Last-Modified: Sun, 19 Mar 2006 19:38:15 GMT
 Via: 1.1 webcache (NetCache NetApp/6.0.1P3)

HTTP/1.0 200 OK
 Date: Sun, 19 Mar 2006 19:38:15 GMT
 Content-Length: 29025
 Content-Type: text/html
 Expires: Sun, 19 Mar 2006 19:39:15 GMT
 Cache-Control: max-age=60, private
 Connection: Close
 Server: Apache
 Vary: Accept-Encoding,User-Agent
 Last-Modified: Sun, 19 Mar 2006 19:38:15 GMT
 Via: 1.1 webcache (NetCache NetApp/6.0.1P3)

WebRequest and WebResponse 问题:

WebRequest request = WebRequest.Create(uri);
 WebResponse response = request.GetResponse();
 Stream streamIn = response.GetResponseStream();
 BinaryReader reader = new BinaryReader(streamIn, TextEncoding);
 byte[] RecvBuffer = new byte[10240];
 int nBytes, nTotalBytes = 0;
 while((nBytes = reader.Read(RecvBuffer, 0, 10240)) > 0)
 {
  nTotalBytes += nBytes;
  
 }
 reader.Close();
 streamIn.Close();
 response.Close();

 

 request = MyWebRequest.Create(uri, request/**//*to Keep-Alive*/, KeepAlive);
 MyWebResponse response = request.GetResponse();
 byte[] RecvBuffer = new byte[10240];
 int nBytes, nTotalBytes = 0;
 while((nBytes = response.socket.Receive(RecvBuffer, 0, 10240, SocketFlags.None)) > 0)
 {
  nTotalBytes += nBytes;
  
  if(response.KeepAlive && nTotalBytes >= response.ContentLength && response.ContentLength > 0)
   break;
 }
 if(response.KeepAlive == false)
  response.Close();

刚刚更换getresponsestream与直接获取套接字会员mywebresponse阶层. 这样做,我做了简单的伎俩,使socket读明年开始后的头回答, 读一字节的时间告诉header完成,如下列代码:

 /**//* reading response header */
 Header = "";
 byte[] bytes = new byte[10];
 while(socket.Receive(bytes, 0, 1, SocketFlags.None) > 0)
 {
  Header += Encoding.ASCII.GetString(bytes, 0, 1);
  if(bytes[0] == '\n' && Header.EndsWith("\r\n\r\n"))
   break;
 }

因此,用户myresponse类只会继续接收从第一位置的页面. 线程管理:线索数目的履带式是指用户通过设置. 它的默认值是10线程,但它可改变的设置选项连接. 履带代码处理这种改变的财产threadcount如下列代码:

private int ThreadCount
{
 get { return nThreadCount; }
 set
 {
  Monitor.Enter(this.listViewThreads);
  for(int nIndex = 0; nIndex < value; nIndex ++)
  {
   if(threadsRun[nIndex] == null || threadsRun[nIndex].ThreadState != ThreadState.Suspended)
   {
    threadsRun[nIndex] = new Thread(new ThreadStart(ThreadRunFunction));
    threadsRun[nIndex].Name = nIndex.ToString();
    threadsRun[nIndex].Start();
    if(nIndex == this.listViewThreads.Items.Count)
    {
     ListViewItem item = this.listViewThreads.Items.Add((nIndex+1).ToString(), 0);
     string[] subItems = { "", "", "", "0", "0%" };
     item.SubItems.AddRange(subItems);
    }
   }
   else if(threadsRun[nIndex].ThreadState == ThreadState.Suspended)
   {
    ListViewItem item = this.listViewThreads.Items[nIndex];
    item.ImageIndex = 1;
    item.SubItems[2].Text = "Resume";
    threadsRun[nIndex].Resume();
   }
  }
  nThreadCount = value;
  Monitor.Exit(this.listViewThreads);
 }
}

如果theadcode增加了用户的代码创建一个新的线程,或暂时中止线程. 其他,树叶制的过程suppending额外的工作线程threads自己如下. 每个工作线程有一个名字等于其指数的线程数组. 如果线程名称值大于threadcount继续其工作,并进入中止模式. 爬行深度:它是深入到履带goes,在航行过程. 每个url已有初步深度相当于母公司深度加一, 在深度为0头url插入的用户. 在成交的URL从任何页都插入后,在年底的URL队列 意思是"先入先出"的行动. 和所有线程可插入排队随时在以下部分代码:

void EnqueueUri(MyUri uri)
{
 Monitor.Enter(queueURLS);
 try
 {
  queueURLS.Enqueue(uri);
 }
 catch(Exception)
 {
 }
 Monitor.Exit(queueURLS);
}

  
而每个线程可以取出第一url在排队,要求它在以下部分代码:

MyUri DequeueUri()
{
 Monitor.Enter(queueURLS);
 MyUri uri = null;
 try
 {
  uri = (MyUri)queueURLS.Dequeue();
 }
 catch(Exception)
 {
 }
 Monitor.Exit(queueURLS);
 return uri;
}

发表于 @ 2007年05月02日　00:13:00 | 评论( loading... ) | 编辑| 举报| 收藏