如何实现网站内容采集

转载 2007年09月26日 16:37:00

远程获取网页内容.经过一定的处理和灵活应用,可以开发成成体系网站内容采集系统.通常也叫做"新闻小偷"
一般来说.做内容采集分为如下几个大致的步骤:

1.远程获取页面的全部Html源文本.

2.通过过滤处理,分析有效内容文本.(通常用正则表达式来截取有效数据)

3.将格式有效的数据,根据自己的数据库结构分标题,内容....一些其他属性保存到自己的本地数据库.

ok整个采集过程如此简单.原理也不难.下面我们看看实现的具体基础代码!

首先我们来写一个获取远程Html源的方法.

public string GetHttpData(string Url)
        {
           
string sException=null;
           
string sRslt=null;
            WebResponse oWebRps
=null;
            WebRequest oWebRqst
=WebRequest.Create(Url);
            oWebRqst.Timeout
=50000;


           
try
            {
                oWebRps
=oWebRqst.GetResponse();
            }
           
catch(WebException e)
            {
                    sException
=e.Message.ToString();
                    EYResponse.Write(sException);
            }
           
catch(Exception e)
            {
                    sException
=e.ToString();
                    EYResponse.Write(sException);
            }

           
finally
            {
               
if(oWebRps!=null)
                {
                    StreamReader oStreamRd
=new StreamReader(oWebRps.GetResponseStream(),Encoding.GetEncoding("GB2312"));
                    sRslt
=oStreamRd.ReadToEnd();
                    oStreamRd.Close();
                    oWebRps.Close();
                }
            }
           
return sRslt;

        }

以上代码为获取远程Html源的一个方法.参数仅一个.就是你要获取的目标页面的完整Url路径.
返回一个string类型的Html源数据.

下面我们再来继续第二个步骤.分析自己需要的有效数据!
这里我假设某个页面来做分析... 

        public string[] GetData(string Html)
        {
            String[] rS = new String[2];
            string s = Html; s = Regex.Replace(s, "//s{3,}", "");
            s = s.Replace("/r", "");
            s = s.Replace("/n", "");
            string Pat = "<td align=/"center/" class=/"24p/"><B>(.*)</B></td></tr><tr>.*(<table width=/"95%/" border=/"0/" cellspacing=/"0/" cellpadding=/"10/">.*</table>)<table width=/"98%/" border=/"0/" cellspacing=/"0/" cellpadding=/"0/">(.*)<td align=center class=l6h>";
            Regex Re = new Regex(Pat);
            Match Ma = Re.Match(s);
            if (Ma.Success)
            { rS[0] = Ma.Groups[1].ToString();
                rS[1] = Ma.Groups[2].ToString();
                pgStr = Ma.Groups[3].ToString();
            }
            return rS;
        }

防止网站内容被采集

很多防采集方法在施行的时候需要考虑是否影响搜索引擎对网站的抓取,所以先来分析下一般采集器和搜索引擎爬虫采集有何不同。   相同点:   a. 两者都需要直接抓取到网页源码才能有效工作,   b....
  • fuguotao1
  • fuguotao1
  • 2016年12月18日 12:03
  • 637

如何防止网站内容被采集

很多防采集方法在施行的时候需要考虑是否影响搜索引擎对网站的抓取,所以先来分析下一般采集器和搜索引擎爬虫采集有何不同。   相同点:   a. 两者都需要直接抓取到网页源码才能有效工作,   b....
  • aerchi
  • aerchi
  • 2014年12月25日 14:31
  • 5803

网站内容被采集如何防止被采集呢?

 1、网站中大量的内容被别人采集,特别是被一些权重较高的站采集转载后,是非常损伤网站元气的!很多站长都会遇到这种情况,那么在建站初期如何防止网站内容被采集呢?   方法一:网站图片加水印 在...
  • u014780643
  • u014780643
  • 2014年06月10日 11:17
  • 610

java采集网页数据方法【多线程数据采集之一】

第一步抓取数据。 java采集网页数据。获取html文本节点 有几种办法。转载文章请注明来处:http://blog.csdn.net/column/details/threa...
  • qq545923664
  • qq545923664
  • 2015年04月09日 16:53
  • 1892

获取内容的一个curl类(采集专用)

一般用于采集,防止ip被禁以后还在运行
  • a916123063
  • a916123063
  • 2016年06月27日 10:24
  • 1110

实现从网页上抓取数据(htmlparser)

package parser;   package parser;   import java.io.BufferedReader; import java.io.BufferedWri...
  • sinat_27615265
  • sinat_27615265
  • 2016年02月19日 18:04
  • 3039

常见防网站数据采集策略方法和它的弊端及采集对策

现在越来越多的网站数据采集软件被开发出来,一些普通的网站数据内容被采集,也越来越容易。楚江数据(微信  p02721606,或淘宝搜索店铺“楚江数据”)在网上收集了一些常见防采集策略方法,希望对大家有...
  • xiaobei16
  • xiaobei16
  • 2016年12月30日 12:36
  • 792

网站数据统计分析之一:日志收集原理及其实现

网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析、百度统计 和 腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于ja...
  • guohecang
  • guohecang
  • 2016年06月01日 11:33
  • 4135

python网络数据采集-Ajax和动态HTML

python网络数据采集-Ajax和动态HTML,并以实例分解了使用Selenium和PhantomJS进行JavaScript执行结果的爬取...
  • wanght89
  • wanght89
  • 2017年10月23日 14:45
  • 205

curl实现避开验证码模拟登入 抓取网站网页内容 https

curl实现避开验证码模拟登入 抓取网站网页内容 在实际的生产当中我们如果没有特殊的需求可能不会做出一个模拟登入抓取内容的这个动作; 最近在工作中发现一个我们可以用curl 去模拟登入一个网站 去...
  • Edward_zou
  • Edward_zou
  • 2016年08月22日 21:22
  • 1730
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:如何实现网站内容采集
举报原因:
原因补充:

(最多只允许输入30个字)