C# 采集代码

转载 2007年09月18日 16:32:00
using System;
using System.Data;
using System.Configuration;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;
using System.Drawing;
using MSXML2;
using System.Text.RegularExpressions;
namespace wenweifeng
{
    
/**//// <summary>
    
/// CaiJi 的摘要说明
    
/// </summary>

    public class CaiJi
    
{
        
public CaiJi()
        
{
            
//
            
// TODO: 在此处添加构造函数逻辑
            
//
        }

        
~CaiJi()
        
{
            Dispose();
        }

        
public void Dispose()
        
{
         GC.SuppressFinalize(
this);
        }

  
     日期随机函数
#region 日期随机函数
        
/**//**********************************
         * 函数名称:DateRndName
         * 功能说明:日期随机函数
         * 参    数:ra:随机数
         * 调用示例:
         *          GetRemoteObj o = new GetRemoteObj();
         *          Random ra = new Random();
         *          string s = o.DateRndName(ra);
         *          Response.Write(s);
         *          o.Dispose();
         * *******************************
*/

        
/**//// <summary>
        
/// 日期随机函数
        
/// </summary>
        
/// <param name="ra">随机数</param>
        
/// <returns></returns>

        public  string DateRndName(Random ra)
        
{
            DateTime d 
= DateTime.Now;
            
string s = null, y, m, dd, h, mm, ss;
            y 
= d.Year.ToString();
            m 
= d.Month.ToString();
            
if (m.Length < 2) m = "0" + m;
            dd 
= d.Day.ToString();
            
if (dd.Length < 2) dd = "0" + dd;
            h 
= d.Hour.ToString();
            
if (h.Length < 2) h = "0" + h;
            mm 
= d.Minute.ToString();
            
if (mm.Length < 2) mm = "0" + mm;
            ss 
= d.Second.ToString();
            
if (ss.Length < 2) ss = "0" + ss;
            s 
+= y + ',' + m + ',' + dd + ',' + h + "-" + mm + "-" + ss;
            s 
+= ra.Next(10000009999999).ToString();
            
return s;
        }

        
#endregion


        取得文件后缀
#region 取得文件后缀
        
/**//**********************************
         * 函数名称:GetFileExtends
         * 功能说明:取得文件后缀
         * 参    数:filename:文件名称
         * 调用示例:
         *          GetRemoteObj o = new GetRemoteObj();
         *          string url = @"
http://www.baidu.com/img/logo.gif";
         *          string s = o.GetFileExtends(url);
         *          Response.Write(s);
         *          o.Dispose();
         * *******************************
*/

        
/**//// <summary>
        
/// 取得文件后缀
        
/// </summary>
        
/// <param name="filename">文件名称</param>
        
/// <returns></returns>

        public string GetFileExtends(string filename)
        
{
            
string ext = null;
            
if (filename.IndexOf('.'> 0)
            
{
                
string[] fs = filename.Split('.');
                ext 
= fs[fs.Length - 1];
            }

            
return ext;
        }

        
#endregion


        获取远程文件源代码
获取远程文件源代码

        保存远程文件
保存远程文件

        替换网页中的换行和引号
替换网页中的换行和引号               

        执行正则提取出值
执行正则提取出值        

        替换HTML源代码
替换HTML源代码

        匹配页面的链接
匹配页面的链接

        匹配页面的图片地址
匹配页面的图片地址

        替换通过正则获取字符串所带的正则首尾匹配字符串
替换通过正则获取字符串所带的正则首尾匹配字符串


     


}


}
 

C#信息采集工具实现

简单C#信息采集工具实现 最近想整只爬虫玩玩,顺便熟悉下正则表达式。   开发环境 vs2008  sql2000 实现方法如下 1.先抓取网页代码 2.通过正则匹配出你需要的内容 比如http://...
  • xiaoxiao108
  • xiaoxiao108
  • 2011年06月01日 00:12
  • 2300

经典采集代码之C#

 http://www.cnblogs.com/clefoo/archive/2007/07/12/815357.htmlusing System;using System.Data;using Sy...
  • mengyao
  • mengyao
  • 2007年09月17日 14:30
  • 3773

终于完成几个淘宝采集相关产品(http://www.9zhai.net/)

相关介绍 鉴于淘宝商家对一些淘宝商品数据有很大的需求,如商品标题,价格,库存,图片及其他一些的信息,从而达到一些监控的目的 基于Ecshop,EcMall,ShopNc等系统的采集 这篇文章是这几...
  • zwwtj2014
  • zwwtj2014
  • 2015年07月01日 09:30
  • 1214

C#采集网页代码

/**//**********************************             * 函数名称:ReplaceEnter             * 功能说明:替换网页中的换行和...
  • sscsgss
  • sscsgss
  • 2011年01月23日 22:54
  • 376

c#实现的自动采集代理服务器和IP自动切换程序(C#.NET)

c#实现的自动采集代理服务器和IP自动切换程序(C#.NET)
  • zfrong
  • zfrong
  • 2009年04月11日 14:45
  • 7281

运用C#在采集时进行自动验证登录

最近有朋友在问我如何进行信息采集时对一些有用户或和密码验证的网站进行采集,刚好最近在项目中有运用到这个来进行验证登录,将部分代码发出来与大家分享 学习,这只是我在网上参考人家的做的一个雏形试用版,虽然...
  • hedongyang
  • hedongyang
  • 2007年05月15日 09:25
  • 2271

C#多线程网页采集器(Spider)

这是一个C#语言编写的多线程网页自动采集程序。下面展示了主要类的代码。完整代码请点此下载。 转自:http://www.cnblogs.com/closetome/articles/171176...
  • my98800
  • my98800
  • 2016年04月05日 08:30
  • 1150

如何防止网站内容被采集

很多防采集方法在施行的时候需要考虑是否影响搜索引擎对网站的抓取,所以先来分析下一般采集器和搜索引擎爬虫采集有何不同。   相同点:   a. 两者都需要直接抓取到网页源码才能有效工作,   b....
  • aerchi
  • aerchi
  • 2014年12月25日 14:31
  • 5901

【原创】C# 多线程采集工具(使用 HtmlAgilityPack 工具)

我们平时或多或少的都需要采集一些网络上面的信息,当时采集的方法会有很多种,为了更高效的采集数据,我们基本上都要使用多线程,采集下来内容,最关键的还是需要分析网页内容,我们可以使用正则来分析网页中的内容...
  • mysouling
  • mysouling
  • 2016年03月31日 15:37
  • 1196

采集代理IP网站上的代理IP

///         /// 用正则表达式进行取IP         ///         private void GetIp(string Ips)         {     ...
  • zky0901
  • zky0901
  • 2015年10月24日 15:16
  • 1197
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:C# 采集代码
举报原因:
原因补充:

(最多只允许输入30个字)