asp.net抓取页面内容+下载文件

原创 2013年12月02日 10:49:05
 #region 抓取页面的内容
    public string GetHTML(string url)
    {
        ASCIIEncoding encoding = new ASCIIEncoding();
        byte[] postdata = encoding.GetBytes(posts);
        HttpWebRequest myRequest = (HttpWebRequest)WebRequest.Create(url);
        myRequest.Method = "GET";
        myRequest.ContentType = "text/html;";
        myRequest.UserAgent = "Mozilla/5.0 (Windows NT 5.2; rv:14.0) Gecko/20100101 Firefox/14.0.1";
        myRequest.Host = "www.aizhan.com";
        //myRequest.Headers.Add("Host", "www.aizhan.com");
        myRequest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
        myRequest.KeepAlive = true;

        HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse();
        StreamReader reader = new StreamReader(myResponse.GetResponseStream(), Encoding.UTF8);
        string content = reader.ReadToEnd();
        return content;
    }
    public string GetHTML2(string url) {
        WebClient wc = new WebClient();
        wc.Credentials = CredentialCache.DefaultCredentials;
        byte[] btPageData = wc.DownloadData(url);
        string strTargetHtml = Encoding.UTF8.GetString(btPageData);
        wc.Dispose();
        return strTargetHtml;
    }
   #endregion

ASP.NET抓取其他网页代码

在.Net 平台下,创建一个ASP.Net的程序 1、引用两个NAMESPACE       using System.Text     //因为用了Encoding类       using Sys...
  • 21aspnet
  • 21aspnet
  • 2007年03月24日 12:22
  • 4306

jsp简单抓取页面内容

@ page contentType="text/html;charset=gb2312"%>String sCurrentLine = "";String sTotalString = "";jav...
  • feng2112
  • feng2112
  • 2007年04月13日 14:43
  • 984

三种asp.net 抓取网页源代码,推荐方法一

/// 方法一:比较推荐         /// 用HttpWebRequest取得网页源码         /// 对于带BOM的网页很有效,不管是什么编码都能正确识别         ///...
  • ful1021
  • ful1021
  • 2013年07月21日 18:33
  • 1213

asp.net抓取目标页面内容

抓取网页内容-文字 需要三个类:WebRequest、WebResponse、StreamReader。 WebRequest、WebResponse 的名称空间是: System.Net Strea...
  • skydxd
  • skydxd
  • 2012年05月15日 10:19
  • 762

网页抓取数据并分析,特别包括分页数据的抓取

[csharp]  包括8个按钮,每个按钮下的代码都可运行(第5、6个可能需要调试一下)。   [csharp]  有基本的页面抓取,不含分页数据的;   [csharp  有含分页数据,且...
  • wilsonke
  • wilsonke
  • 2014年06月23日 14:57
  • 1960

ASP.NET(C#) Web Api通过文件流下载文件到本地实例

下载文件到本地是很多项目开发中需要实现的一个很简单的功能。说简单,是从具体的代码实现上来说的,.NET的文件下载方式有很多种,本示例给大家介绍的是ASP.NET Web Api方式返回HttpResp...
  • caijunfen
  • caijunfen
  • 2017年12月08日 09:14
  • 504

httpClient抓取页面的简易使用

本次用的httpClient版本是4.5.2,maven坐标如下所示:   org.apache.httpcomponents httpclient 4.5.2     此版本的...
  • hellomvn
  • hellomvn
  • 2016年05月12日 11:22
  • 205

jQuery 之 获取页面内容和属性(六)

获得内容 - text()、html() 以及 val() 三个简单实用的用于 DOM 操作的 jQuery 方法: text() - 设置或返回所选元素的文本内容 html() - 设置或返回...
  • u013630349
  • u013630349
  • 2016年07月19日 17:05
  • 411

用ASP获取别的网页的内容

Get URL Text URL ***这是URLGetMSInet.asp Get URL Text Set obj = CreateObject("InetC...
  • realromi
  • realromi
  • 2005年04月07日 14:33
  • 565

Selenium+PhantomJS抓取数据

Selenium在前面的一篇文章中说过是一种浏览器自动化测试的工具,可以利用浏览器的驱动去控制浏览器访问网站,从 而模拟浏览行为抓取数据,这种方式可以抓到更多的数据,但是效率不是很高,而且浏览器的页...
  • u013407099
  • u013407099
  • 2016年11月19日 20:47
  • 346
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:asp.net抓取页面内容+下载文件
举报原因:
原因补充:

(最多只允许输入30个字)