如何写asp.net抓取网页内容的小偷程序

         以前对这小偷程序挺有兴趣的，然后就经常上网找一些好的办法，说来也简单就一段简单的程序，再加上处理字符的正则表达式就可以了。你可以提取任何一个网站上的想要的文字或者是图片。图片也是可以抓取的。

下面介绍一个简单的抓取数据的办法：

        HttpWebRequest httpWebRequest = null;
        string str = string.Empty;
        string data = string.Empty;
        try
        {
            httpWebRequest = (HttpWebRequest)HttpWebRequest.Create(http://www.qiutanwang.com);  //例如你要抓取的URL是http://www.qiutanwang.com，URL可以是随意网址.
            httpWebRequest.ContentType = "application/x-www-form-urlencoded";
            httpWebRequest.Accept = "*/*";

            httpWebRequest.UserAgent = " Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; QQDownload 538; .NET CLR 1.1.4322; CIBA; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)"