C# 采集1-任务

一段时间没接触C#了,最近三天写了一个采集网页的工具,来填充一下网页的内容。

先介绍程序主要有三个实体:采集的任务、文章列表、文章。

 

任务:为了传输,共享方便任务将存在xml中。

    class Task
    {
        private string name;
        /// <summary>
        /// 采集任务名称
        /// </summary>
        public string Name
        {
            get { return name; }
            set { name = value; }
        }

        private string url;
        /// <summary>
        /// 采集任务列表地址
        /// </summary>
        public string Url
        {
            get { return url; }
            set { url = value; }
        }

        private string ecode;
        /// <summary>
        /// 采集任务站点编码
        /// </summary>
        public string Ecode
        {
            get { return ecode; }
            set { ecode = value; }
        }

        private string category;
        /// <summary>
        /// 采集任务列表栏目名
        /// </summary>
        public string Category
        {
            get { return category; }
            set { category = value; }
        }

        private string listareaf;
        /// <summary>
        /// 采集任务列表区域开始标志
        /// </summary>
        public string ListAreaf
        {
            get { return listareaf; }
            set { listareaf = value; }
        }

        private string listareae;
        /// <summary>
        /// 采集任务列表区域结束标志
        /// </summary>
        public string ListAreae
        {
            get { return listareae; }
            set { listareae = value; }
        }

        private string rextitle;
        /// <summary>
        /// 采集任务文章标题和链接的正则
        /// </summary>
        public string RexTitle
        {
            get { return rextitle; }
            set { rextitle = value; }
        }

        private string contentf;
        /// <summary>
        /// 采集任务文章内容区域开始标志
        /// </summary>
        public string Contentf
        {
            get { return contentf; }
            set { contentf = value; }
        }

        private string contente;
        /// <summary>
        /// 采集任务文章内容区域结束标志
        /// </summary>
        public string Contente
        {
            get { return contente; }
            set { contente = value; }
        }

        private string articlef;
        /// <summary>
        /// 采集任务文章内容开始标志
        /// </summary>
        public string Articlef
        {
            get { return articlef; }
            set { articlef = value; }
        }

        private string articlee;
        /// <summary>
        /// 采集任务文章内容结束标志
        /// </summary>
        public string Articlee
        {
            get { return articlee; }
            set { articlee = value; }
        }

        private string authorf;
        /// <summary>
        /// 采集任务文章作者开始标志
        /// </summary>
        public string Authorf
        {
            get { return authorf; }
            set { authorf = value; }
        }

        private string authore;
        /// <summary>
        /// 采集任务文章作者结束标志
        /// </summary>
        public string Authore
        {
            get { return authore; }
            set { authore = value; }
        }

        private string sourcef;
        /// <summary>
        /// 采集任务文章来源开始标志
        /// </summary>
        public string Sourcef
        {
            get { return sourcef; }
            set { sourcef = value; }
        }

        private string sourcee;
        /// <summary>
        /// 采集任务文章来源结束标志
        /// </summary>
        public string Sourcee
        {
            get { return sourcee; }
            set { sourcee = value; }
        }

        private string datef;
        /// <summary>
        /// 采集任务文章日期开始标志
        /// </summary>
        public string Datef
        {
            get { return datef; }
            set { datef = value; }
        }

        private string datee;
        /// <summary>
        /// 采集任务文章日期结束标志
        /// </summary>
        public string Datee
        {
            get { return datee; }
            set { datee = value; }
        }


        private string state;
        /// <summary>
        /// 采集任务状态
        /// </summary>
        public string State
        {
            get { return state; }
            set { state = value; }
        }

    }

 文章列表:取得以后会存在本地access数据库

class Urls
    {
        private string title;
        /// <summary>
        /// 标题
        /// </summary>
        public string Title
        {
            get { return title; }
            set { title = value; }
        }

        private string url;
        /// <summary>
        /// 链接
        /// </summary>
        public string Url
        {
            get { return url; }
            set { url = value; }
        }

        private int oid;
        /// <summary>
        /// id
        /// </summary>
        public int Oid
        {
            get { return oid; }
            set { oid = value; }
        }

        private int isc;
        /// <summary>
        /// 是否已采集
        /// </summary>
        public int Isc
        {
            get { return isc; }
            set { isc = value; }
        }

        private string name;
        /// <summary>
        /// 任务名,和采集任务多对一关系
        /// </summary>
        public string Name
        {
            get { return name; }
            set { name = value; }
        }
    }

 文章:也将其存在本地access数据库

class Article
    {
        private string category;
        /// <summary>
        /// 文章类别
        /// </summary>
        public string Category
        {
            get { return category; }
            set { category = value; }
        }
        private string url;
        /// <summary>
        /// 文章连接地址
        /// </summary>
        public string Url
        {
            get
            {
                return url;
            }
            set
            {
                url = value;
            }
        }
        private string title;
        /// <summary>
        /// 文章标题
        /// </summary>
        public string Title
        {
            get
            {
                return title;
            }
            set
            {
                if (value == "" || value.Length <= 0)
                {
                    throw new ApplicationException("文章的标题不能为空!");
                }
                title = value;
            }
        }
        private int views;
        /// <summary>
        /// 文章浏览次数
        /// </summary>
        public int Views
        {
            get
            {
                return views;
            }
            set
            {
                views = value;
            }
        }
        private int replys;
        /// <summary>
        /// 文章评论次数
        /// </summary>
        public int Replys
        {
            get
            {
                return replys;
            }
            set
            {
                replys = value;
            }
        }
        private string postdate;
        /// <summary>
        /// 文章发布日期
        /// </summary>
        public string Postdate
        {
            get
            {
                return postdate;
            }
            set
            {
                postdate = value;
            }
        }
        private string author;
    /// <summary>
    /// 文章作者
    /// </summary>
    public string Author
    {
      get
      {
        return author;
      }
      set
      {
        author = value;
      }
    }
        private string source;
        /// <summary>
        /// 文章来源
        /// </summary>
        public string Source
        {
            get
            {
                return source;
            }
            set
            {
                source = value;
            }
        }


        private string content;
        /// <summary>
        /// 文章内容
        /// </summary>
        public string Content
        {
            get
            {
                return content;
            }
            set
            {
                content = value;
            }
        }
        private int oid;
        public int Oid
        {
            get
            {
                return oid;
            }
            set
            {
                oid = value;
            }
        }
    }
 
预览图片见:http://www.cnblogs.com/xxpyeippx/archive/2008/03/31/1131211.html运行环境windows nt/xp/2003 or above.net Framework 1.1SqlServer 2000 开发环境 VS 2003目的学习了网络编程,总要点什么东西才好。于是想到要一个网页内容采集器。作者主页: http://www.fltek.com.cn使用方式测试数据采用自cnBlog。见下图用户首先填写“起始网页”,即从哪一页开始采集。然后填写数据库连接字符串,这里是定义了采集到的数据插入到哪个数据库,后面选择表名,不必说了。网页编码,不出意外的话,中国大陆都可以采用UTF-8爬取文件名的正则:呵呵 这个工具明显是给编程人员用的。正则都要直接填写啦。比如说cnblogs的都是数字的,所以写了\d建表帮助:用户指定要建立几个varchar型的,几个text型的,主要是放短数据和长数据啊。如果你的表里本来就有列,那就免啦。程序里面没有验证哦。网页设置里面:采集内容前后标记:比如说都有 xxx,如果我要采集xxx就写“到”,意思,当然就是到之间的内容啦。后面的几个文本框是显示内容的。点击“获取URL”可以查看它捕获的Url对不对的。点击“采集”,可以把采集内容放到数据库,然后就用 Insert xx () (select xx) 可以直接插入目标数据了。程序代码量非常小(也非常简陋),需要的改动一下啦。不足 应用到了正则表达式、网络编程由于是最简单的东西,所以没有用多线程,没有用其他的优化方法,不支持分页。测试了一下,获取38条数据,用了700M内存啊。。。。如果有用的人 ,可以改一下使用啦。方便程序员用,免写很多代码。Surance Yin@ Surance Center 转载请注明出处
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值