网络数据获取及查询系统目标

    最近想把以前设计的网络数据获取及查询系统重新进行整理，明确新目标，以形成新的产品，看是否有新的商机。

    以前的系统功能如下：

    1、实现了一个网络数据的抓取配置程序：

• 支持用户名、密码登陆；还不支持验证码图片识别；
• 支持数字证书登陆；
• 支持表单自动提交；
• 支持表单数据自动填写；
• 支持流程配置：支持一系列动作，如：直接跳转、表单赋值、 点击跳转、表格定位解析、网页取值、javascript函数执行、条件返回、表格循环解析、表单取值、点击操作和div循环解析；
• 实现基于正则表达式的网页数据解析；
• 结果可配置；获取的结果可以动态、可视配置，可加入模板
• 流程可配置；
• 实现多页数据获取，自动获取页码
• 支持记录唯一索引，避免相同信息重复入库   

    2、已实现的应用：

• 淘宝店铺数据获取；输入关键字，可以获取所有符合条件淘宝店的数据，包括店主名、店铺名称、主营、所在地、等级、宝贝数量等信息；
• 淘宝评价数据获取；对指定店面列表，下载最新的评价数据，包括买家、价格、宝贝名称、评价等数据，并可进行简单的数据分析；
• 基于网络信息的短信查询系统；通过短信查询互联网上的数据；如：手机归属地、IP地址所在地、天气预报、火车时刻表、航班时刻表、股票信息等数据。

    3、计划实现的目标：

 

• 实现图片、文件下载
• 实现验证码识别，能够自动登录有识别码的网站
• 实现DIV的循环解析，已实现了机遇DIV ID属性的DIV数据循环解析，待实现只有DIV CLASS属性的数据信息
• 实现“详细信息”获取；譬如获取新闻内容（包括带HTML格式的和不带HTML格式的）；
• 实现定时抽取
• 实现一个流程多个结果数据合并