浅谈自动采集程序及入库

原创 2005年05月21日 13:28:00
最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单.
原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页,然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中。其主要的优点便是无需再手工添加大量的信息了,可以指定对某一个站信息的截取进行批量录入,达到省时省力的目的。与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站。
简单事例:
 1<%
 2'声明取得目标信息的函数,通过XML组件进行实现。
 3Function GetURL(url) 
 4Set Retrieval = CreateObject("Microsoft.XMLHTTP"
 5With Retrieval 
 6.Open "GET", url, False
 7.Send 
 8GetURL = bytes2bstr(.responsebody)
 9'对取得信息进行验证,如果信息长度小于100则说明截取失败
10if len(.responsebody)<100 then
11response.write "获取远程文件 <a href="&url&" target=_blank>"&url&"</a> 失败。"
12response.end
13end if
14
15End With 
16Set Retrieval = Nothing 
17End Function
18' 二进制转字符串,否则会出现乱码的!
19function bytes2bstr(vin) 
20strreturn = "" 
21for i = 1 to lenb(vin) 
22thischarcode = ascb(midb(vin,i,1)) 
23if thischarcode < &h80 then 
24strreturn = strreturn & chr(thischarcode) 
25else 
26nextcharcode = ascb(midb(vin,i+1,1)) 
27strreturn = strreturn & chr(clng(thischarcode) * &h100 + cint(nextcharcode)) 
28= i + 1 
29end if 
30next 
31bytes2bstr = strreturn 
32end function 
33'声明截取的格式,从Start开始截取,到Last为结束
34Function GetKey(HTML,Start,Last)
35filearray=split(HTML,Start)
36filearray2=split(filearray(1),Last)
37GetKey=filearray2(0)
38End Function
39
40Dim Softid,Url,Html,Title 
41
42'获取要取页面的ID
43
44SoftId=Request("Id")
45
46  Url="http://www3.skycn.com/soft/"&SoftId&".html" 
47
48  Html = GetURL(Url) 
49
50'以截取天空软件的软件名为例子
51
52  Title = GetKey(Html,"<font color='#004FC6' size='3'>","</font></b></td></tr>")
53
54'打开数据库,准备入库
55
56dim connstr,conn,rs,sql
57
58connstr="DBQ="+server.mappath("db1.mdb")+";DefaultDir=;DRIVER={Microsoft Access Driver (*.mdb)};"
59
60set conn=server.createobject("ADODB.CONNECTION")
61
62conn.open connstr
63
64set rs=server.createobject("adodb.recordset")
65
66sql="select [列名] from [表名] where [列名]='"&Title&"'"
67
68rs.open sql,conn,3,3
69
70if rs.eof and rs.bof then 
71
72rs("列名")=Title
73
74rs.update 
75
76set rs=nothing
77
78end if
79
80set rs=nothing
81
82Response.Write"采集完毕!"
83
84%>

采集数据入库

数据采集入库,yii框架的数据处理
  • xuezhi6789
  • xuezhi6789
  • 2017年02月04日 20:29
  • 207

浅谈自动采集程序及入库

 最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单.原理及优点:通过XML中...
  • coolcat982
  • coolcat982
  • 2005年12月17日 11:34
  • 589

浅谈自动采集程序及入库

        最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单.原理及优点...
  • loyos
  • loyos
  • 2006年08月07日 20:13
  • 698

浅谈ASP程序实现自动采集程序及入库

声明取得目标信息的函数,通过XML组件进行实现。Function GetURL(url) Set Retrieval = CreateObject("Microsoft.XMLHTTP") With ...
  • zky0901
  • zky0901
  • 2008年05月07日 16:29
  • 495

自动采集程序及入库教程

原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页,然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中。其主要的优点便是无需再手工添加大量的信息了,可以指定对某一个站信息的...
  • caocg504
  • caocg504
  • 2008年04月18日 10:53
  • 333

基于PHP的简单采集数据入库程序

说到采集,无非就是远程获取信息->提取所需内容->分类存储->读取->展示 也算是简单"小偷程序"的加强版吧 下面是对应核心代码(别拿去做坏事哦^_^) 所要采集的内容是某游戏网站上的公告,如下...
  • fanblog
  • fanblog
  • 2016年09月21日 09:32
  • 835

天气小偷程序,自动采集信息入库

 天气小偷程序刚完成的一个天气小偷程序,从中央气象台自动采集信息入库    工程下载/************************************************/using Sy...
  • viaivi
  • viaivi
  • 2008年04月06日 13:10
  • 943

php 采集入库

if($_GET[id]
  • chaojie2009
  • chaojie2009
  • 2012年02月17日 16:24
  • 1254

写个每一个小时自动php采集百度top榜关键字,并用|分开写入txt

写个每一个小时自动php采集百度top榜关键字,并用|分开写入txt, 如题: 写段php代码: 实现每隔1个小时,自动更新采集http://top.baidu.com/buzz/top...
  • qikexun
  • qikexun
  • 2016年04月29日 23:28
  • 1693

小偷程序和采集入库

 声明取得目标信息的函数,通过XML组件进行实现 Function GetURL(url) Set Retrieval = CreateObject("Microsoft.XMLHTTP") With...
  • caocg504
  • caocg504
  • 2008年04月18日 11:03
  • 277
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:浅谈自动采集程序及入库
举报原因:
原因补充:

(最多只允许输入30个字)