asp.net采集函数（采集、分析、替换、入库一体）一

1. using System;
2. using System.Data;
3. using System.Configuration;
4. using System.Web;
5. using System.Web.Security;
6. using System.Web.UI;
7. using System.Web.UI.WebControls;
8. using System.Web.UI.WebControls.WebParts;
9. using System.Web.UI.HtmlControls;
10. using MSXML2;
11. using System.Text.RegularExpressions;
12. namespace EC
13. {
14.     /// <summary>
15.     /// 远程文件抓取类
16.     /// </summary>
17.     public class GetRemoteObj
18.     {
20.         #region 构造与析构函数
21.         public GetRemoteObj()
22.         {
23.             //
24.             // TODO: 在此处添加构造函数逻辑
25.             //
26.         }
27.         ~GetRemoteObj()
28.         {
29.             Dispose();
30.         }
31.         #endregion
33.         #region IDisposable 成员
35.         public void Dispose()
36.         {
37.             GC.SuppressFinalize(this);
38.         }
40.         #endregion
42.         #region 日期随机函数
43.         /**********************************
44.          * 函数名称:DateRndName
45.          * 功能说明:日期随机函数
46.          * 参    数:ra:随机数
47.          * 调用示例:
48.          *          GetRemoteObj o = new GetRemoteObj();
49.          *          Random ra = new Random();
50.          *          string s = o.DateRndName(ra);
51.          *          Response.Write(s);
52.          *          o.Dispose();
53.          * ********************************/
54.         /// <summary>
55.         /// 日期随机函数
56.         /// </summary>
57.         /// <param name="ra">随机数</param>
58.         /// <returns></returns>
59.         public string DateRndName(Random ra)
60.         {
61.             DateTime d = DateTime.Now;
62.             string s = null, y, m, dd, h, mm, ss;
63.             y = d.Year.ToString();
64.             m = d.Month.ToString();
65.             if (m.Length < 2) m = "0" + m;
66.             dd = d.Day.ToString();
67.             if (dd.Length < 2) dd = "0" + dd;
68.             h = d.Hour.ToString();
69.             if (h.Length < 2) h = "0" + h;
70.             mm = d.Minute.ToString();
71.             if (mm.Length < 2) mm = "0" + mm;
72.             ss = d.Second.ToString();
73.             if (ss.Length < 2) ss = "0" + ss;
74.             s += y + m + dd + h + mm + ss;
75.             s += ra.Next(100, 999).ToString();
76.             return s;
77.         }
78.         #endregion
80.         #region 取得文件后缀
81.         /**********************************
82.          * 函数名称:GetFileExtends
83.          * 功能说明:取得文件后缀
84.          * 参    数:filename:文件名称
85.          * 调用示例:
86.          *          GetRemoteObj o = new GetRemoteObj();
87.          *          string url = @"http://www.baidu.com/img/logo.gif";
88.          *          string s = o.GetFileExtends(url);
89.          *          Response.Write(s);
90.          *          o.Dispose();
91.          * ********************************/
92.         /// <summary>
93.         /// 取得文件后缀
94.         /// </summary>
95.         /// <param name="filename">文件名称</param>
96.         /// <returns></returns>
97.         public string GetFileExtends(string filename)
98.         {
99.             string ext = null;
100.             if (filename.IndexOf('.') > 0)
101.             {
102.                 string[] fs = filename.Split('.');
103.                 ext = fs[fs.Length - 1];
104.             }
105.             return ext;
106.         }
107.         #endregion
109.         #region 获取远程文件源代码
110.         /**********************************
111.          * 函数名称:GetRemoteHtmlCode
112.          * 功能说明:获取远程文件源代码
113.          * 参    数:Url:远程url
114.          * 调用示例:
115.          *          GetRemoteObj o = new GetRemoteObj();
116.          *          string url = @"http://www.baidu.com";
117.          *          string s = o.GetRemoteHtmlCode(url);
118.          *          Response.Write(s);
119.          *          o.Dispose();
120.          * ********************************/
121.         /// <summary>
122.         /// 获取远程文件源代码
123.         /// </summary>
124.         /// <param name="url">远程url</param>
125.         /// <returns></returns>
126.         public string GetRemoteHtmlCode(string Url)
127.         {
128.             string s = "";
129.             MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
130.             _xmlhttp.open("GET", Url, false, null, null);
131.             _xmlhttp.send("");
132.             if (_xmlhttp.readyState == 4)
133.             {
134.                 s = System.Text.Encoding.Default.GetString((byte[])_xmlhttp.responseBody);
135.             }
136.             return s;
137.         }
139.         #endregion
141.         #region 保存远程文件
142.         /**********************************
143.          * 函数名称：RemoteSave
144.          * 功能说明：保存远程文件
145.          * 参    数：Url:远程url;Path:保存到的路径
146.          * 调用示例:
147.          *          GetRemoteObj o = new GetRemoteObj();
148.          *          string s = "";
149.          *          string url = @"http://www.baidu.com/img/logo.gif";
150.          *          string path =Server.MapPath("Html/");
151.          *          s = o.RemoteSave(url,path);
152.          *          Response.Write(s);
153.          *          o.Dispose();         
154.          * ******************************/
155.         /// <summary>
156.         /// 保存远程文件
157.         /// </summary>
158.         /// <param name="Url">远程url</param>
159.         /// <param name="Path">保存到的路径</param>
160.         /// <returns></returns>
161.         public string RemoteSave(string Url, string Path)
162.         {
163.             Random ra = new Random();
164.             string StringFileName = DateRndName(ra) + "." + GetFileExtends(Url);
165.             string StringFilePath = Path + StringFileName;
166.             MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
167.             _xmlhttp.open("GET", Url, false, null, null);
168.             _xmlhttp.send("");
169.             if (_xmlhttp.readyState == 4)
170.             {
171.                 if (System.IO.File.Exists(StringFilePath))
172.                     System.IO.File.Delete(StringFilePath);
173.                 System.IO.FileStream fs = new System.IO.FileStream(StringFilePath, System.IO.FileMode.CreateNew);
174.                 System.IO.BinaryWriter w = new System.IO.BinaryWriter(fs);
175.                 w.Write((byte[])_xmlhttp.responseBody);
176.                 w.Close();
177.                 fs.Close();
178.             }
179.             else
180.                 throw new Exception(_xmlhttp.statusText);
181.             return StringFileName;
182.         }
183.         #endregion
184.   #region 替换网页中的换行和引号
185.         /**********************************
186.          * 函数名称:ReplaceEnter
187.          * 功能说明:替换网页中的换行和引号
188.          * 参    数:HtmlCode:html源代码
189.          * 调用示例:
190.          *          GetRemoteObj o = new GetRemoteObj();
191.          *          string Url = @"http://www.baidu.com";
192.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
193.          *          string s = o.ReplaceEnter(HtmlCode);
194.          *          Response.Write(s);
195.          *          o.Dispose();
196.          * ********************************/
197.         /// <summary>
198.         /// 替换网页中的换行和引号
199.         /// </summary>
200.         /// <param name="HtmlCode">HTML源代码</param>
201.         /// <returns></returns>
202.         public string ReplaceEnter(string HtmlCode)
203.         {
204.             string s = "";
205.             if (HtmlCode == null || HtmlCode == "")
206.                 s = "";
207.             else
208.                 s = HtmlCode.Replace("/"", "");
209.             s = s.Replace("/r/n", "");
210.             return s;
211.         }
213.         #endregion
215.         #region 执行正则提取出值
216.         /**********************************
217.          * 函数名称:GetRegValue
218.          * 功能说明:执行正则提取出值
219.          * 参    数:HtmlCode:html源代码
220.          * 调用示例:
221.          *          GetRemoteObj o = new GetRemoteObj();
222.          *          string Url = @"http://www.baidu.com";
223.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
224.          *          string s = o.ReplaceEnter(HtmlCode);
225.          *          string Reg="<title>.+?</title>";
226.          *          string GetValue=o.GetRegValue(Reg,HtmlCode)
227.          *          Response.Write(GetValue);
228.          *          o.Dispose();
229.          * ********************************/
230.         /// <summary>
231.         /// 执行正则提取出值
232.         /// </summary>
233.         /// <param name="RegexString">正则表达式</param>
234.         /// <param name="RemoteStr">HtmlCode源代码</param>
235.         /// <returns></returns>
236.         public string GetRegValue(string RegexString, string RemoteStr)
237.         {
238.             string MatchVale = "";
239.             Regex r = new Regex(RegexString);
240.             Match m = r.Match(RemoteStr);
241.             if (m.Success)
242.             {
243.                 MatchVale = m.Value;
244.             }
245.             return MatchVale;
246.         }
247.         #endregion
249.         #region 替换HTML源代码
250.         /**********************************
251.          * 函数名称:RemoveHTML
252.          * 功能说明:替换HTML源代码
253.          * 参    数:HtmlCode:html源代码
254.          * 调用示例:
255.          *          GetRemoteObj o = new GetRemoteObj();
256.          *          string Url = @"http://www.baidu.com";
257.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
258.          *          string s = o.ReplaceEnter(HtmlCode);
259.          *          string Reg="<title>.+?</title>";
260.          *          string GetValue=o.GetRegValue(Reg,HtmlCode)
261.          *          Response.Write(GetValue);
262.          *          o.Dispose();
263.          * ********************************/
264.         /// <summary>
265.         /// 替换HTML源代码
266.         /// </summary>
267.         /// <param name="HtmlCode">html源代码</param>
268.         /// <returns></returns>
269.         public string RemoveHTML(string HtmlCode)
270.         {
271.             string MatchVale = HtmlCode;
272.             foreach (Match s in Regex.Matches(HtmlCode, "<.+?>"))
273.             {
274.                 MatchVale = MatchVale.Replace(s.Value, "");
275.             }
276.             return MatchVale;
277.         }
279.         #endregion
281.         #region 匹配页面的链接
282.         /**********************************
283.          * 函数名称:GetHref
284.          * 功能说明:匹配页面的链接
285.          * 参    数:HtmlCode:html源代码
286.          * 调用示例:
287.          *          GetRemoteObj o = new GetRemoteObj();
288.          *          string Url = @"http://www.baidu.com";
289.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
290.          *          string s = o.GetHref(HtmlCode);
291.          *          Response.Write(s);
292.          *          o.Dispose();
293.          * ********************************/
294.         /// <summary>
295.         /// 获取页面的链接正则
296.         /// </summary>
297.         /// <param name="HtmlCode"></param>
298.         /// <returns></returns>
299.         public string GetHref(string HtmlCode)
300.         {
301.             string MatchVale = "";
302.             string Reg = @"(h|H)(r|R)(e|E)(f|F) *= *('|"")?((/w|//|//|/.|:|-|_)+)('|""| *|>)?";
303.             foreach (Match m in Regex.Matches(HtmlCode, Reg))
304.             {
305.                 MatchVale += (m.Value).ToLower().Replace("href=", "").Trim() + "||";
306.             }
307.             return MatchVale;
308.         }
309.         #endregion
311.         #region 匹配页面的图片地址
312.         /**********************************
313.          * 函数名称:GetImgSrc
314.          * 功能说明:匹配页面的图片地址
315.          * 参    数:HtmlCode:html源代码;imgHttp:要补充的http.当比如:<img src="bb/x.gif">则要补充http://www.baidu.com/,当包含http信息时,则可以为空
316.          * 调用示例:
317.          *          GetRemoteObj o = new GetRemoteObj();
318.          *          string Url = @"http://www.baidu.com";
319.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
320.          *          string s = o.GetImgSrc(HtmlCode,"http://www.baidu.com/");
321.          *          Response.Write(s);
322.          *          o.Dispose();
323.          * ********************************/
324.         /// <summary>
325.         /// 匹配页面的图片地址
326.         /// </summary>
327.         /// <param name="HtmlCode"></param>
328.         /// <param name="imgHttp">要补充的http://路径信息</param>
329.         /// <returns></returns>
330.         public string GetImgSrc(string HtmlCode, string imgHttp)
331.         {
332.             string MatchVale = "";
333.             string Reg = @"<img.+?>";
334.             foreach (Match m in Regex.Matches(HtmlCode, Reg))
335.             {
336.                 MatchVale += GetImg((m.Value).ToLower().Trim(), imgHttp) + "||";
337.             }
338.             return MatchVale;
339.         }
340.         /// <summary>
341.         /// 匹配<img src="" />中的图片路径实际链接
342.         /// </summary>
343.         /// <param name="ImgString"><img src="" />字符串</param>
344.         /// <returns></returns>
345.         public string GetImg(string ImgString, string imgHttp)
346.         {
347.             string MatchVale = "";
348.             string Reg = @"src=.+/.(bmp|jpg|gif|png|)";
349.             foreach (Match m in Regex.Matches(ImgString.ToLower(), Reg))
350.             {
351.                 MatchVale += (m.Value).ToLower().Trim().Replace("src=", "");
352.             }
353.             return (imgHttp + MatchVale);
354.         }
356.         #endregion
358.         #region 替换通过正则获取字符串所带的正则首尾匹配字符串
359.         /**********************************
360.          * 函数名称:GetHref
361.          * 功能说明:匹配页面的链接
362.          * 参    数:HtmlCode:html源代码
363.          * 调用示例:
364.          *          GetRemoteObj o = new GetRemoteObj();
365.          *          string Url = @"http://www.baidu.com";
366.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
367.          *          string s = o.RegReplace(HtmlCode,"<title>","</title>");
368.          *          Response.Write(s);
369.          *          o.Dispose();
370.          * ********************************/
371.         /// <summary>
372.         /// 替换通过正则获取字符串所带的正则首尾匹配字符串
373.         /// </summary>
374.         /// <param name="RegValue">要替换的值</param>
375.         /// <param name="regStart">正则匹配的首字符串</param>
376.         /// <param name="regEnd">正则匹配的尾字符串</param>
377.         /// <returns></returns>
378.         public string RegReplace(string RegValue, string regStart, string regEnd)
379.         {
380.             string s = RegValue;
381.             if (RegValue != "" && RegValue != null)
382.             {
383.                 if (regStart != "" && regStart != null)
384.                 {
385.                     s = s.Replace(regStart, "");
386.                 }
387.                 if (regEnd != "" && regEnd != null)
388.                 {
389.                     s = s.Replace(regEnd, "");
390.                 }
391.             }
392.             return s;
393.         }
394.         #endregion
397.     }
398. }
403. 记得添加引用 Interop.MSXML2.dll  否则msxml2命名空间用不了
404. COM组件Interop.MSXML2.dll则COM的引用列表中的Microsoft.xml v3.0