文章采集系统(我的世界我采集网）

文章采集系统是有(我的世界我采集网）历时4年开发而成，网上信息采集系统是根据用户定义的关键词字，从互联网上检索出相关的数据，并对数据进行合理的截取、分类、去重和过滤，并以文件或数据库的方式保存下来。

目录
文章采集系统过程
相关资料功能诠释
展开
文章采集系统过程
相关资料功能诠释
展开
编辑本段
文章采集系统过程
　　系统的开发工具使用.Net的C#进行系统的开发，数据库采用SQL Server 2000。
一、软件系统总体设计要求
　　1.当网站搜索深度为5层，网站搜索广度为50个网页时，数据查全率达到98%。
　　2.当网站搜索深度为5层，网站搜索广度为50个网页时，数据查准率大于97%。
　　3.数据储存能力：存储量≥100G。
　　4.当在单个网站搜索时，网站搜索深度：最大第5层网页；网站搜索广度：最多搜索50个网页。超过60秒没结果则自动放弃搜索。
　　5.并发搜索强度：可以同时10个线程并发搜索。　
　　6.5亿个汉字的信息平均查询时间少于3秒。
二、应用系统设计要求
　　1.要求系统能进行多线程采集信息；
　　2.能自动分类索引记录；
　　3.自动过滤重复、自动标引记录；
三、应用系统功能的详细描述
　　实时网上采集(内容抓取模块) 快速：网页抓取采用多线程并发搜索技术，并可设置并发线程的最大个数。灵活：可以同时跟踪抓取多个网站，能够提供灵活的网站、栏目或频道的采集策略，以及利用逻辑关系定位采集内容。准确：不多抓与少抓，可自定义需要抓取的文件格式，能够抓取图片和表格信息，抓取过程成熟可靠，容错性强，完成初始设定后可长时间稳定运行。 高效自动分类支持机检分类――能够利用预定义的关键词和规则方法判定类别；支持自动分类――通过机器自动学习或预学习自动分类，并达到80%以上的准确率。（这条比较麻烦，可以考虑不做）支持多种分类标准――比如按地域（华北、华南等）、内容（政治、科技、军事、教育等）、来源（新华网、人民网、新浪网等）等。 自动网页分析内容过滤――能够过滤掉广告、导航信息、版权等无用信息，能够剔除反动、色情内容。内容排重――对于不同网站相同或雷同的内容，能够自动判别并标注为雷同，判别的方法可以由用户定义的规则判定及自动按内容的相似度判定。格式转换――自动将HTML格式转换为文本文件。自动标引――对网页自动提取标题、版次、日期、作者、栏目、分类等信息。 系统管理整合的单一界面――系统提供基于Web的用户使用界面和管理员界面，满足系统管理员和用户双重需求，可利用浏览器远程管理分类目录、用户权限并调整、加强分类结果。完整的目录维护――提供完整的对分类目录进行新增、移动、修改、删除等管理维护权限管理，可设定管理目录和单一文件使用权限，加强安全管理。实时的文件管理――可以浏览每个目录分类结果，并实时进行移动、更名等调整。
编辑本段
相关资料功能诠释
　　用文章采集系统，整个系统可以在线自动安装，后台有新版本可自动升级；如果系统文件损坏也能自动修复，站长从此无忧
1、自动建设功能
　　强大的关键词管理系统
　　可自动批量获取指定关键词的常见相关词语，轻松掌控用户搜索行为
　　自动文章采集系统四大类内容
　　文章采集过程中自动剔除重复内容，并可以自由设置各类内容的聚合数量
　　三重过滤保证内容质量
　　特别是首创的任意词语密度判断功能，为搜索引擎收录提供了有力保证
　　自动生成原创专题
　　文章采集首创以专题为内容组织形式，这是门户网站内容制胜的法宝
　　专题内容自动更新
　　专题不仅可自动创建也可自动更新，并可分别设置各类内容的更新周期
　　原创标签综合页面
　　全站集成统一通用的分类标签体系，不仅让内容关联，更是原创内容页面
2、个性定制功能
　　原创标签综合页面
　　全站集成统一通用的分类标签体系，不仅让内容关联，更是原创内容页面
　　兼容多种静态化模式
　　不仅有效保证搜索引擎收录，更可以增加网站的持续性访问
　　任意顶部导航条设定
　　可随意增加、删减顶部导航条，让网站有高度的定制性
　　任意url连接地址名称
　　不仅让你的网站是独一无二，更能在一定程度上提高搜索引擎排名
　　支持多模板套系
　　采用模板编译替补技术，即使只改动一个文件也可制作个性界面
　　任意显示数量控制
　　专即可设置专题页面各类内容的数量，也可设置各列表页面的显示数量
3、内置的站长工具
　　全程记录蜘蛛来访
　　智能识别99%的搜索引擎蜘蛛来访，并全程掌控蜘蛛爬行记录
　　自动创建站点地图
　　全自动生成baidu和google地图，并可分类设置，有效提高网站内容收录
　　一键查看排名和收录
　　不仅可查看Alexa排名，更可精确掌握网站近日收录，还能增加网站外链
　　查看网站中的非法关键词
　　可以自动批量查询网站中是否存在国家禁止的非法内容
　　在线自动安装和文件修复
　　setup.php工具不仅可自动获取授权、在线自动安装系统，更有系统修复功能
　　后台智能自动升级
　　可自动判断当前需升级的版本，并自动下载升级，让站长摆脱更新烦恼
4、高效性能
　　超高效自动分词技术
　　首创采用数字化词库和双向切词校验，大大提高了中文分词效率和准确度
　　高效动态页面缓存
　　采用分模块的页面缓存技术，有效保证系统负载能力和网站的动态性
　　代码切分调用技术
　　使系统每次调用最少程序代码，减少解析时间，有效提高系统的执行效率
　　编译模板技术
　　所有未变动的模板只需要编译一次，减少了解析模板时间，提高访问速度
　　最少化数据读取设计
　　大大减少数据库资源的消耗，可支持更多用户快速访问
　　图片缩略图保存
　　默认将图片文件生成缩略图保存本地，极大减少了服务器空间和带宽的压力
5、整站互动功能
　　个性群组功能
　　专题可转换为群组，并拥有比论坛更自由的权限控制
　　对外个人主页
　　可在个人页面看到其发起的话题、订阅的专题以及好友等
　　我的个人家园
　　拥有SNS特性，可跟踪我的话题动态，也可以好友的站内动态
　　站内好友体系
　　可以自由加好友，也可看到好友的动态信息
　　个性收藏系统
　　你可以将任何你喜欢的内容进行收藏，并设置是否公；
　　站内短信系统
　　这是你与网站会员的私密沟通系统，有人加你好友也将通过此通知；
　　文章采集系统运行环境要求
　　a）语言类型：PHP，推荐V5.x ，最低支持 V4.3.x；
　　b）需数据库：MySQL，推荐V5.x，最低支持 V4.1.x；
　　c）程序加速：Zend Optimizer，推荐V3.x，最低支持 V2.6。 文章采集用业界最流行的php+mysql开发，在绝大部分空间上都可以正常运行