2010年02月_zky0901

转载 ASP.NET通用采集程序GatherInfo的实现

正文开始：假如我们采集网址：http://info.laser.hc360.com/list/z_news_yw.shtml 上的新闻，要求采集标题、时间、内容、单篇文章如果有翻页则采集完全。这种类型的采集就是从指定网页获得新闻列表(即url)，然后通过其url获得新闻详情，这是一种很常见的采集方式，有可能到很多页面上去采集，所以我们可以采用接口来构造基类。

2010-02-06 10:59:00 555

转载 ASP.NET(C#)经典采集代码

/**//********************************** * 函数名称:ReplaceEnter * 功能说明:替换网页中的换行和引号 * 参数:HtmlCode:html源代码 * 调用示例: * GetRemoteObj o =

2010-02-06 00:12:00 396

转载 asp.net(c#)做一个网页数据采集工具

最近做一个网站，该网站需要添加4000多产品信息，如果用人工方法去别的网站copy那至少要花费半月时间才能完成，所以我个办法使用c#作出来了一个网页数据采集软件详细出处参考：http://www.jb51.net/article/21468.htm //提取产品列表页中产品最终页的网页 private void button1_Click(object sender, EventArgs

2010-02-05 23:50:00 1541

转载 Asp.net 数据采集基类(远程抓取,分解,保存,匹配)

using System;using System.Data;using System.Configuration;using System.Web;using System.Web.Security;using System.Web.UI;using System.Web.UI.WebControls;using System.Web.UI.WebControls.WebParts;usin

2010-02-05 23:07:00 361

转载用post方法从网上抓取信息

前些天有个要求要从某个网站上取信息,但是该网站要求用post方式访问的.现在这里贴两个google到的方法.using System.Net;static string WebClinetPost(string url, string postData,string encodeType,out string err) { string uriString = url;

2010-02-03 22:39:00 907

转载 HttpWatch工具简介及使用技巧

一概述：HttpWatch强大的网页数据分析工具.集成在Internet Explorer工具栏.包括网页摘要.Cookies管理.缓存管理.消息头发送/接受.字符查询.POST 数据和目录管理功能.报告输出 HttpWatch 是一款能够收集并显示页页深层信息的软件。它不用代理服务器或一些复杂的网络监控工具，就能够在显示网页同时显示网页请求和回应的日志信息。甚至可以显示浏览器缓存和IE之间

2010-02-03 16:15:00 724

转载 HttpWebRequest开发向asp.net服务端post数据,对ViewState的处理

当Windows Mobile程序需要使用Web Server的信息，一开始自然会想到使用WebService。可是有些Web Server不提供WebService，只是提供Http浏览功能，如果需要从Http网页中得到信息，可以使用HttpWebRequest和HttpWebResponse来完成，下面通过一个例子来讲述。　例如有一个使用ASP.net开发的燃料价格查询网站。　图1　

2010-02-03 15:58:00 3968 1

转载 WebBrowser控件使用详解

WebBrowser控件使用详解方法说明　GoBack 相当于IE的“后退”按钮，使你在当前历史列表中后退一项　GoForward 相当于IE的“前进”按钮，使你在当前历史列表中前进一项　GoHome 相当于IE的“主页”按钮，连接用户默认的主页　GoSearch 相当于IE的“搜索”

2010-02-03 14:04:00 667

转载 ASP.NET采集系统万能正则表达式

由于经常要写一些采集的程序，下面的三个函数是采集中的很常用的函数。姑且叫采集系统万能正则表达式吧。第一个：//获取页面的html源码 public string GetHtmlSource(string Url, string charset) { if (charset == "" || charset == null) charset = "gb231

2010-02-03 11:06:00 802

转载用C#抓取AJAX页面的内容

现在的网页有相当一部分是采用了AJAX技术,不管是采用C#中的WebClient还是HttpRequest都得不到正确的结果,因为这些脚本是在服务器发送完毕后才执行的! 但我们用IE浏览页面时是正常的,所以解决方法只有1个就是采用WebBrowser控件但是使用Webbrowser你会发现,在DownloadComplete事件中,你根本无法知道页面何时才算是真正的加载完毕! 当然个别有Fram

2010-02-01 22:29:00 1458

暖阳的进步乐园