如何实现网站内容采集

转载 2007年09月26日 16:37:00

远程获取网页内容.经过一定的处理和灵活应用,可以开发成成体系网站内容采集系统.通常也叫做"新闻小偷"
一般来说.做内容采集分为如下几个大致的步骤:

1.远程获取页面的全部Html源文本.

2.通过过滤处理,分析有效内容文本.(通常用正则表达式来截取有效数据)

3.将格式有效的数据,根据自己的数据库结构分标题,内容....一些其他属性保存到自己的本地数据库.

ok整个采集过程如此简单.原理也不难.下面我们看看实现的具体基础代码!

首先我们来写一个获取远程Html源的方法.

public string GetHttpData(string Url)
        {
           
string sException=null;
           
string sRslt=null;
            WebResponse oWebRps
=null;
            WebRequest oWebRqst
=WebRequest.Create(Url);
            oWebRqst.Timeout
=50000;


           
try
            {
                oWebRps
=oWebRqst.GetResponse();
            }
           
catch(WebException e)
            {
                    sException
=e.Message.ToString();
                    EYResponse.Write(sException);
            }
           
catch(Exception e)
            {
                    sException
=e.ToString();
                    EYResponse.Write(sException);
            }

           
finally
            {
               
if(oWebRps!=null)
                {
                    StreamReader oStreamRd
=new StreamReader(oWebRps.GetResponseStream(),Encoding.GetEncoding("GB2312"));
                    sRslt
=oStreamRd.ReadToEnd();
                    oStreamRd.Close();
                    oWebRps.Close();
                }
            }
           
return sRslt;

        }

以上代码为获取远程Html源的一个方法.参数仅一个.就是你要获取的目标页面的完整Url路径.
返回一个string类型的Html源数据.

下面我们再来继续第二个步骤.分析自己需要的有效数据!
这里我假设某个页面来做分析... 

        public string[] GetData(string Html)
        {
            String[] rS = new String[2];
            string s = Html; s = Regex.Replace(s, "//s{3,}", "");
            s = s.Replace("/r", "");
            s = s.Replace("/n", "");
            string Pat = "<td align=/"center/" class=/"24p/"><B>(.*)</B></td></tr><tr>.*(<table width=/"95%/" border=/"0/" cellspacing=/"0/" cellpadding=/"10/">.*</table>)<table width=/"98%/" border=/"0/" cellspacing=/"0/" cellpadding=/"0/">(.*)<td align=center class=l6h>";
            Regex Re = new Regex(Pat);
            Match Ma = Re.Match(s);
            if (Ma.Success)
            { rS[0] = Ma.Groups[1].ToString();
                rS[1] = Ma.Groups[2].ToString();
                pgStr = Ma.Groups[3].ToString();
            }
            return rS;
        }

相关文章推荐

网站内容采集器 最新版

  • 2011年04月28日 10:22
  • 303KB
  • 下载

文章转载---教会你怎么样防止网站内容被采集

最近因为某网站对ip访问次数限制的问题,导致自己做出来的程序没能完成预期目标。这是找到的点资料,总结的不错。虽说是告诉你怎么防采集,却也指明了如何破解的方法。 目前看来只能通过降低采集效率的方式来完...

狂人大挪移网站采集内容管理

  • 2011年05月25日 09:55
  • 134B
  • 下载

Nutch 2.2+MySQL+Solr4.2实现网站内容的抓取和索引

原文地址: http://blog.sina.com.cn/s/blog_3c9872d00101p4f0.htmlNutch 2.2.1发布快两月了,该版本与Nutch之前版本相比,有较大变化,特别...

.net实现远程获取其他网站页面内容

.net实现远程获取其他网站页面内容,http://blog.sina.com.cn/s/blog_4efce4d10100ddgh.html...
  • WYZSC
  • WYZSC
  • 2011年01月06日 11:29
  • 754
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:如何实现网站内容采集
举报原因:
原因补充:

(最多只允许输入30个字)