Asp.net 数据采集基类(远程抓取,分解,保存,匹配)

1.   
2. using System;
3. using System.Data;
4. using System.Configuration;
5. using System.Web;
6. using System.Web.Security;
7. using System.Web.UI;
8. using System.Web.UI.WebControls;
9. using System.Web.UI.WebControls.WebParts;
10. using System.Web.UI.HtmlControls;
11. using MSXML2;
12. using System.Text.RegularExpressions;
13. namespace EC
14. {
15.     /// <summary>
16.     /// 远程文件抓取类
17.     /// </summary>
18.     public class GetRemoteObj
19.     {
20.       
21.         #region 构造与析构函数
22.         public GetRemoteObj()
23.         {
24.             //
25.             // TODO: 在此处添加构造函数逻辑
26.             //
27.         }
28.         ~GetRemoteObj()
29.         {
30.             Dispose();
31.         }
32.         #endregion
34.         #region IDisposable 成员
36.         public void Dispose()
37.         {           
38.             GC.SuppressFinalize(this);
39.         }
41.         #endregion
43.         #region 日期随机函数
44.         /**********************************
45.          * 函数名称:DateRndName
46.          * 功能说明:日期随机函数
47.          * 参    数:ra:随机数
48.          * 调用示例:
49.          *          GetRemoteObj o = new GetRemoteObj();
50.          *          Random ra = new Random();
51.          *          string s = o.DateRndName(ra);
52.          *          Response.Write(s);
53.          *          o.Dispose();
54.          * ********************************/
55.         /// <summary>
56.         /// 日期随机函数
57.         /// </summary>
58.         /// <param name="ra">随机数</param>
59.         /// <returns></returns>
60.         public  string DateRndName(Random ra)
61.         {
62.             DateTime d = DateTime.Now;
63.             string s = null, y, m, dd, h, mm, ss;
64.             y = d.Year.ToString();
65.             m = d.Month.ToString();
66.             if (m.Length < 2) m = "0" + m;
67.             dd = d.Day.ToString();
68.             if (dd.Length < 2) dd = "0" + dd;
69.             h = d.Hour.ToString();
70.             if (h.Length < 2) h = "0" + h;
71.             mm = d.Minute.ToString();
72.             if (mm.Length < 2) mm = "0" + mm;
73.             ss = d.Second.ToString();
74.             if (ss.Length < 2) ss = "0" + ss;
75.             s += y + m + dd + h + mm + ss;
76.             s += ra.Next(100, 999).ToString();
77.             return s;
78.         }
79.         #endregion
81.         #region 取得文件后缀
82.         /**********************************
83.          * 函数名称:GetFileExtends
84.          * 功能说明:取得文件后缀
85.          * 参    数:filename:文件名称
86.          * 调用示例:
87.          *          GetRemoteObj o = new GetRemoteObj();
88.          *          string url = @"http://www.baidu.com/img/logo.gif";
89.          *          string s = o.GetFileExtends(url);
90.          *          Response.Write(s);
91.          *          o.Dispose();
92.          * ********************************/
93.         /// <summary>
94.         /// 取得文件后缀
95.         /// </summary>
96.         /// <param name="filename">文件名称</param>
97.         /// <returns></returns>
98.         public string GetFileExtends(string filename)
99.         {
100.             string ext = null;
101.             if (filename.IndexOf('.') > 0)
102.             {
103.                 string[] fs = filename.Split('.');
104.                 ext = fs[fs.Length - 1];
105.             }
106.             return ext;
107.         }
108.         #endregion
110.         #region 获取远程文件源代码
111.         /**********************************
112.          * 函数名称:GetRemoteHtmlCode
113.          * 功能说明:获取远程文件源代码
114.          * 参    数:Url:远程url
115.          * 调用示例:
116.          *          GetRemoteObj o = new GetRemoteObj();
117.          *          string url = @"http://www.baidu.com";
118.          *          string s = o.GetRemoteHtmlCode(url);
119.          *          Response.Write(s);
120.          *          o.Dispose();
121.          * ********************************/
122.         /// <summary>
123.         /// 获取远程文件源代码
124.         /// </summary>
125.         /// <param name="url">远程url</param>
126.         /// <returns></returns>
127.         public string GetRemoteHtmlCode(string Url)
128.         {
129.             string s = "";
130.             MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
131.             _xmlhttp.open("GET", Url, false, null, null);
132.             _xmlhttp.send("");
133.             if (_xmlhttp.readyState == 4)
134.             {
135.                 s = System.Text.Encoding.Default.GetString((byte[])_xmlhttp.responseBody);
136.             }
137.             return s;
138.         }
140.         #endregion
142.         #region 保存远程文件
143.         /**********************************
144.          * 函数名称：RemoteSave
145.          * 功能说明：保存远程文件
146.          * 参    数：Url:远程url;Path:保存到的路径
147.          * 调用示例:
148.          *          GetRemoteObj o = new GetRemoteObj();
149.          *          string s = "";
150.          *          string url = @"http://www.baidu.com/img/logo.gif";
151.          *          string path =Server.MapPath("Html/");
152.          *          s = o.RemoteSave(url,path);
153.          *          Response.Write(s);
154.          *          o.Dispose();         
155.          * ******************************/
156.         /// <summary>
157.         /// 保存远程文件
158.         /// </summary>
159.         /// <param name="Url">远程url</param>
160.         /// <param name="Path">保存到的路径</param>
161.         /// <returns></returns>
162.         public string RemoteSave(string Url, string Path)
163.         {
164.             Random ra = new Random();
165.             string StringFileName = DateRndName(ra) + "." + GetFileExtends(Url);
166.             string StringFilePath = Path + StringFileName;
167.             MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
168.             _xmlhttp.open("GET", Url, false, null, null);
169.             _xmlhttp.send("");
170.             if (_xmlhttp.readyState == 4)
171.             {
172.                 if (System.IO.File.Exists(StringFilePath))
173.                     System.IO.File.Delete(StringFilePath);
174.                 System.IO.FileStream fs = new System.IO.FileStream(StringFilePath, System.IO.FileMode.CreateNew);
175.                 System.IO.BinaryWriter w = new System.IO.BinaryWriter(fs);
176.                 w.Write((byte[])_xmlhttp.responseBody);
177.                 w.Close();
178.                 fs.Close();
179.             }
180.             else
181.                 throw new Exception(_xmlhttp.statusText);
182.             return StringFileName;
183.         }
184.         #endregion
186.         #region 替换网页中的换行和引号
187.         /**********************************
188.          * 函数名称:ReplaceEnter
189.          * 功能说明:替换网页中的换行和引号
190.          * 参    数:HtmlCode:html源代码
191.          * 调用示例:
192.          *          GetRemoteObj o = new GetRemoteObj();
193.          *          string Url = @"http://www.baidu.com";
194.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
195.          *          string s = o.ReplaceEnter(HtmlCode);
196.          *          Response.Write(s);
197.          *          o.Dispose();
198.          * ********************************/
199.         /// <summary>
200.         /// 替换网页中的换行和引号
201.         /// </summary>
202.         /// <param name="HtmlCode">HTML源代码</param>
203.         /// <returns></returns>
204.         public string ReplaceEnter(string HtmlCode)
205.         {
206.             string s = "";
207.             if (HtmlCode == null || HtmlCode == "")
208.                 s = "";
209.             else
210.                 s = HtmlCode.Replace("/"", "");
211.             s = s.Replace("/r/n", "");
212.             return s;
213.         }
215.         #endregion               
217.         #region 执行正则提取出值
218.         /**********************************
219.          * 函数名称:GetRegValue
220.          * 功能说明:执行正则提取出值
221.          * 参    数:HtmlCode:html源代码
222.          * 调用示例:
223.          *          GetRemoteObj o = new GetRemoteObj();
224.          *          string Url = @"http://www.baidu.com";
225.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
226.          *          string s = o.ReplaceEnter(HtmlCode);
227.          *          string Reg="<title>.+?</title>";
228.          *          string GetValue=o.GetRegValue(Reg,HtmlCode)
229.          *          Response.Write(GetValue);
230.          *          o.Dispose();
231.          * ********************************/
232.         /// <summary>
233.         /// 执行正则提取出值
234.         /// </summary>
235.         /// <param name="RegexString">正则表达式</param>
236.         /// <param name="RemoteStr">HtmlCode源代码</param>
237.         /// <returns></returns>
238.         public string  GetRegValue(string RegexString, string RemoteStr)
239.         {
240.             string MatchVale = "";
241.             Regex r = new Regex(RegexString);
242.             Match m = r.Match(RemoteStr);
243.             if (m.Success)
244.             {
245.                 MatchVale = m.Value;
246.             }
247.             return MatchVale;
248.         }
249.         #endregion        
251.         #region 替换HTML源代码
252.         /**********************************
253.          * 函数名称:RemoveHTML
254.          * 功能说明:替换HTML源代码
255.          * 参    数:HtmlCode:html源代码
256.          * 调用示例:
257.          *          GetRemoteObj o = new GetRemoteObj();
258.          *          string Url = @"http://www.baidu.com";
259.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
260.          *          string s = o.ReplaceEnter(HtmlCode);
261.          *          string Reg="<title>.+?</title>";
262.          *          string GetValue=o.GetRegValue(Reg,HtmlCode)
263.          *          Response.Write(GetValue);
264.          *          o.Dispose();
265.          * ********************************/
266.         /// <summary>
267.         /// 替换HTML源代码
268.         /// </summary>
269.         /// <param name="HtmlCode">html源代码</param>
270.         /// <returns></returns>
271.         public string RemoveHTML(string HtmlCode)
272.         {
273.             string MatchVale = HtmlCode;          
274.             foreach (Match s in Regex.Matches(HtmlCode, "<.+?>"))
275.             {
276.                 MatchVale = MatchVale.Replace(s.Value, "");
277.             }
278.             return MatchVale;        
279.         }
281.         #endregion
283.         #region 匹配页面的链接
284.         /**********************************
285.          * 函数名称:GetHref
286.          * 功能说明:匹配页面的链接
287.          * 参    数:HtmlCode:html源代码
288.          * 调用示例:
289.          *          GetRemoteObj o = new GetRemoteObj();
290.          *          string Url = @"http://www.baidu.com";
291.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
292.          *          string s = o.GetHref(HtmlCode);
293.          *          Response.Write(s);
294.          *          o.Dispose();
295.          * ********************************/
296.         /// <summary>
297.         /// 获取页面的链接正则
298.         /// </summary>
299.         /// <param name="HtmlCode"></param>
300.         /// <returns></returns>
301.         public string GetHref(string HtmlCode)
302.         {
303.             string MatchVale = "";
304.             string Reg = @"(h|H)(r|R)(e|E)(f|F) *= *('|"")?((/w|//|//|/.|:|-|_)+)('|""| *|>)?";           
305.             foreach(Match m in Regex.Matches(HtmlCode,Reg))
306.             {
307.                 MatchVale += (m.Value).ToLower().Replace("href=", "").Trim() + "||";
308.             }
309.             return MatchVale;         
310.         }
311.         #endregion
313.         #region 匹配页面的图片地址
314.         /**********************************
315.          * 函数名称:GetImgSrc
316.          * 功能说明:匹配页面的图片地址
317.          * 参    数:HtmlCode:html源代码;imgHttp:要补充的http.当比如:<img src="bb/x.gif">则要补充http://www.baidu.com/,当包含http信息时,则可以为空
318.          * 调用示例:
319.          *          GetRemoteObj o = new GetRemoteObj();
320.          *          string Url = @"http://www.baidu.com";
321.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
322.          *          string s = o.GetImgSrc(HtmlCode,"http://www.baidu.com/");
323.          *          Response.Write(s);
324.          *          o.Dispose();
325.          * ********************************/
326.         /// <summary>
327.         /// 匹配页面的图片地址
328.         /// </summary>
329.         /// <param name="HtmlCode"></param>
330.         /// <param name="imgHttp">要补充的http://路径信息</param>
331.         /// <returns></returns>
332.         public string GetImgSrc(string HtmlCode, string imgHttp)
333.         {
334.             string MatchVale = "";
335.             string Reg = @"<img.+?>";
336.             foreach (Match m in Regex.Matches(HtmlCode, Reg))
337.             {
338.                 MatchVale += GetImg((m.Value).ToLower().Trim(), imgHttp) + "||";
339.             }
340.             return MatchVale;
341.         }
342.         /// <summary>
343.         /// 匹配<img src="" />中的图片路径实际链接
344.         /// </summary>
345.         /// <param name="ImgString"><img src="" />字符串</param>
346.         /// <returns></returns>
347.         public string GetImg(string ImgString, string imgHttp)
348.         {
349.             string MatchVale = "";
350.             string Reg = @"src=.+/.(bmp|jpg|gif|png|)";
351.             foreach (Match m in Regex.Matches(ImgString.ToLower(), Reg))
352.             {
353.                 MatchVale += (m.Value).ToLower().Trim().Replace("src=","");
354.             }
355.             return (imgHttp+MatchVale);
356.         }
358.         #endregion
360.         #region 替换通过正则获取字符串所带的正则首尾匹配字符串
361.         /**********************************
362.          * 函数名称:GetHref
363.          * 功能说明:匹配页面的链接
364.          * 参    数:HtmlCode:html源代码
365.          * 调用示例:
366.          *          GetRemoteObj o = new GetRemoteObj();
367.          *          string Url = @"http://www.baidu.com";
368.          *          strion HtmlCode = o.GetRemoteHtmlCode(Url);
369.          *          string s = o.RegReplace(HtmlCode,"<title>","</title>");
370.          *          Response.Write(s);
371.          *          o.Dispose();
372.          * ********************************/
373.         /// <summary>
374.         /// 替换通过正则获取字符串所带的正则首尾匹配字符串
375.         /// </summary>
376.         /// <param name="RegValue">要替换的值</param>
377.         /// <param name="regStart">正则匹配的首字符串</param>
378.         /// <param name="regEnd">正则匹配的尾字符串</param>
379.         /// <returns></returns>
380.         public string RegReplace(string RegValue, string regStart,string regEnd)
381.         {
382.             string s = RegValue;
383.             if (RegValue != "" && RegValue != null)
384.             {
385.                 if (regStart != "" && regStart != null)
386.                 {
387.                     s = s.Replace(regStart, "");
388.                 }
389.                 if (regEnd != "" && regEnd != null)
390.                 {
391.                     s = s.Replace(regEnd, "");
392.                 }
393.             }
394.             return s;
395.         }
396.         #endregion
399.     }
400. }