用C#编写一个抓网页的应用程序

转载 2004年10月02日 23:16:00
本文利用C#和.NET提供的类来轻松创建一个抓取网页内容源代码的程序 。HTTP是WWW进行数据访问最基本的协议之一,在.NET的基本类型库类中提供了两个对象类:HTTPWebRequest和HTTPWebResponse,分别用来向某资源发送请求和获得响应。为了得到一个资源的内容,我们先指定一个想要抓取的URL地址,用HTTPWebRequest对象进行请求,用HTTPWebResponse对象接收响应的结果,最后用TextStream对象来提取我们想要的信息,并在控制台打印出来。
下面就是看看如何实现这样的功能:

第一步:打开VS.NET,点“文件”-“新建”-“项目”,项目类型选择“Visual C#项目”,模板选“Windows应用程序”,
第二步:在Form1里加入Label1,Button1,TextBox1,TextBox2四个控件,TextBox2的Multiline属性改为True,
第三步:在Form1窗体上点击右键,选“查看代码”,然后在最顶端输入:

using System.IO;
using System.Net;
using System.Text;

private void button1_Click(object sender,
System.EventArgs e)
{

}
的括号之间输入下面的代码:

byte[] buf = new byte[38192];
HttpWebRequest request = (HttpWebRequest)
WebRequest.Create(textBox1.Text);
HttpWebResponse response = (HttpWebResponse)
request.GetResponse();
Stream resStream = response.GetResponseStream();
int count = resStream.Read(buf, 0, buf.Length);
textBox2.Text = Encoding.Default.GetString(buf, 0,
count);
resStream.Close();

第四步:点“Save all”按钮,按“F5”运行应用程序,在“请输入URL地址:”后面的单行文本框里输入http://lucky.myrice.com/down.htm,点击“得到 HTML 代码”按钮,就可以看到该地址的代码了!

下面,我们就对上面的程序做一个分析:

上面的这个程序的功能是抓取网页http://lucky.myrice.com/down.htm的内容,并在多行文本框里显示出HTML代码,由于返回的数据是字节类型的,因此,我们创建一个名为buf的字节类型的数组变量来存储请求返回来的结果,其中数组的大小与我们要请求返回的数据大小有关系。首先,我们实例化HttpWebRequest对象,使用WebRequest类的静态方法Create(),该方法的字符串参数就是我们要请求页面的URL地址,由于Create()方法返回的是WebRequest类型的,我们必须对它进行造型(即类型转换)成HttpWebRequest类型,再赋给request变量。一旦我们建立了HttpWebRequest对象,就可以使用它的GetResponse()方法来返回一个WebResponse对象,然后再造型成HttpWebResponse对象赋给response变量。现在,就可以使用response对象的
GetResponseStream()方法来得到响应的文本流了,最后用Stream对象的Read()方法把返回的响应信息放到我们最初创建的字节数组buf中,Read()有3个参数,分别是:要放入的字节数组,字节数组的开始位置,字节数组的长度。最后把字节转换成字符串,注意:这里采用的采用的是Default编码,它使用默认的编码方式,我们就不用再进行字符编码之间的转换了。也可以利用WebRequest和WebResponse实现以上的功能,代码如下:

WebRequest request = WebRequest.Create(textBox1.Text);
WebResponse response =request.GetResponse();

输入其它的URL看看是不是很方便!

C#编写一个抓网页的应用程序

本文利用C#和.NET提供的类来轻松创建一个抓取网页内容源代码的程序。HTTP是WWW进行数据访问最基本的协议之一,在.NET的基本类型库类中提供了两个对象类:HTTPWebRequest和HTTPW...
  • jxufewbt
  • jxufewbt
  • 2007年03月28日 13:24
  • 843

C#编写一个抓网页的应用程序

本文利用C#和.NET提供的类来轻松创建一个抓取网页内容源代码的程序。HTTP是WWW进行数据访问最基本的协议之一,在.NET的基本类型库类中提供了两个对象类:HTTPWebRequest和HTTPW...
  • 21aspnet
  • 21aspnet
  • 2007年03月24日 14:21
  • 4615

[转贴]用C#编写一个抓网页的应用程序

本文利用C#和.NET提供的类来轻松创建一个抓取网页内容源代码的程序 。HTTP是WWW进行数据访问最基本的协议之一,在.NET的基本类型库类中提供了两个对象类:HTTPWebRequest和HTTP...
  • snaill
  • snaill
  • 2005年03月18日 00:59
  • 1474

用C#编写一个抓网页的应用程序

本文利用C#和.NET提供的类来轻松创建一个抓取网页内容源代码的程序 。HTTP是WWW进行数据访问最基本的协议之一,在.NET的基本类型库类中提供了两个对象类:HTTPWebRequest和HTTP...
  • xiaoxiaohai123
  • xiaoxiaohai123
  • 2007年07月16日 14:04
  • 397

用C#创建Web应用程序

  • zgqtxwd
  • zgqtxwd
  • 2008年04月24日 13:50
  • 194

C#编写Windows应用程序的一般过程

利用Visual C#编制Windows应用程序的过程可归结成以下几个步骤:  (1)利用窗体设计器和【Windows窗体】控件组中的控件设计应用程序界面。 (2)设计窗口和控件的属性。 (3)编写事...
  • basycia
  • basycia
  • 2016年01月02日 10:17
  • 1907

利用C#编写一个简单的抓网页应用程序

本文利用C#和.NET提供的类来轻松创建一个抓取网页内容源代码的程序 。HTTP是WWW进行数据访问最基本的协议之一,在.NET的基本类型库类中提供了两个对象类:HTTPWebRequest和HTTP...
  • guxianga
  • guxianga
  • 2007年09月10日 09:18
  • 347

利用C#编写一个简单的抓网页应用程序

  本文利用C#和.NET提供的类来轻松创建一个抓取网页内容源代码的程序 。HTTP是WWW进行数据访问最基本的协议之一,在.NET的基本类型库类中提供了两个对象类:HTTPWebRequest和HT...
  • no_mIss
  • no_mIss
  • 2006年12月04日 16:31
  • 1327

C#编写一个控制台应用程序,求1000之内的所有“完数”

编写一个控制台应用程序,求1000之内的所有“完数”。所谓“完数”是指一个数恰好等于它的所有因子之和。 例如,6是完数,因为6=1+2+3。 代码:...
  • u012965373
  • u012965373
  • 2014年09月22日 22:52
  • 2131

黑马程序员--- 一个控制台应用程序,要求完成写列功能

---------------------- ASP.Net+Android+IOS开发、.Net培训、期待与您交流! ----------------------         1、 一个控制...
  • u011411356
  • u011411356
  • 2013年08月03日 23:05
  • 1220
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:用C#编写一个抓网页的应用程序
举报原因:
原因补充:

(最多只允许输入30个字)