《万能数据库查询分析器》实现使用SQL语句直接高效地访问文本文件

 

《万能数据库查询分析器》实现使用SQL语句直接高效地访问文本文件

                           马根峰

                (广东联合电子服务股份有限公司, 广州 510300)

 

摘要    用SQL语句来直接访问文本文件？是在做梦吗？

本文详细地介绍了“万能数据库查询分析器”，中文版本《DB 查询分析器》、英文版本《DB Query Analyzer》在 文本文件处理方面非常强大的功能，你可以直接用SQL语句来访问这些文本文件，访问250万条记录的文件的复杂的关联操作，也不过用时59秒钟。需要注意的是，文本文件的第一行需要有列名。

关键词   DB 查询分析器；DB Query Analyzer 

 

 

1       引言  

中国本土程序员马根峰推出的个人作品----万能数据库查询分析器，中文版本《DB 查询分析器》、英文版本《DB Query Analyzer》。

万能数据库查询分析器集哈希技术、链表等多种数据结构于一体，使用先进系统开发技术，经历4年的研究、开发、测试周期后在2006年面世。之后7年来一直在进行不断地完善、升级，到目前为止，最新版本为5.04 。“万能数据库查询分析器”核心部分就具有长达5万多行代码的工作量，使得其具有强大的功能、友好的操作界面、良好的操作性、跨越各种数据库平台乃至于EXCEL和文本文件。

你可以通过它查询ODBC数据源（包括世面上所有的数据库、TXT/CSV文件、EXCEL文件）的数据。你可以同时执行多条DML语句乃至存贮过程，结果会以你设定的表格、文本框、文件来返回。从数据库导出千万条数据时，效率与DBMS没有什么区别。

本文将以5.04版本为例，详细阐述“万能数据库查询分析器”中文版本《DB 查询分析器》在 文本文件 处理方面非常强大的功能，你可以直接用SQL语句来访问这些文本文件，访问250万条记录的文件的复杂的关联操作，也不过用时59秒钟。要注意的是，文本文件的第一行需要有列名。

 
 

2    产品获得的成就及发展历程  

中文版本《DB 查询分析器》在中关村在线 下载量超过10万 多次，位居整个数据库类排行榜中前20位。

在《程序员》2007第2期的“新产品&工具点评”部分，编辑“特别推荐”了“万能数据库查询分析器”发布。本期只点评了5个工具，分别是“Adobe Acrobat 8 中文版”、“迅雷搜索 1.7 新版上线”、“Google 桌面搜索 5.0 中文发布”、“BEA 发布 WebLogic SIPServer 3.0”和特别推荐“万能数据库查询分析器”发布。前面4个都是国内外大型软件公司的产品，只有“万能数据库查询分析器”是个人创作的软件。

截止到2013年4月17日，在Baidu上搜索关键字"万能数据库查询分析器"，搜索结果达318万。在Baidu上搜索关键字"DB查询分析器"、"DBQuery Analyzer"，搜索结果分别在104万、16万左右；在Google上搜索“DB 查询分析器”、“DBQuery Analyzer”，结果分别达104万、44万之多。

本人撰写了关于“万能数据库查询分析器”有关技术的64篇文章，发布在《电脑编程技巧与维护》、《软件》、《计算机时代》、《电脑编程技巧与维护》、百度文库、CSDN资源、和本人的四大博客上（CSDN博客、新浪博客、QQ空间和搜狐博客上）。

 

 

3   为何用《DB 查询分析器》来访问文本文件来解决实际问题

在广东联合电子服务股份有限公司实施一张网的过程中，由于路段上传的流水存在大量的异常，导致按照正常的结算流程无法快速地进行路段的结算。因此，为了进行及时的结算，广东省高速公路公司授权先将异常流水进行忽略，后期再将这些流水进行上传、修改、拆分结算。

最近，为了实施忽略流水的回传，本人做的第一步就是从忽略的流水中按照（流水只有在管理点存在、中心和管理点都存在）这两种情况，再按照流水金额小于0、等于0、大于0三类进行统计成台账（6个文件），然后业务组，再从这些分类批次（6个文件）中确认哪些批次需要回传（形成2 个文件， 流水大于0.csv 和 流水小于0.csv ）。

最终，本人还要根据这些这两个文件中是否“回传”，再从结算系统中根据复杂的逻辑，找出要回传的流水号并按照区域分成4个文件。

在本次处理中，

源处理文件：流水大于0.csv 、 流水小于0.csv 、tb_road、 管理点存在中心不存在的流水_所有.txt 和 管理点与中心都存在的部分_所有.txt 这5个文件。

后两个文件是从结算系统数据库服务器中通过复杂的逻辑处理生成的中间结果文件。

输出结果：要回传的流水号并按照区域分成4个文件。

 

解决方案：因此，输入条件决定要么在结算数据库系统中建立 数据表 来完成条件的判断；要么将结果全部忽略的流水、需要关联的数据表（tb_road）导出成.CSV/.TXT 文件，再使用《DB 查询分析器》强大、高效的.CSV/.TXT 访问功能来实施整个回传流水文件的生成。


 
 

      tb_road 表只是从生产机数据库中导出tb_road表就行了。

 

图2  数据挖掘生成文本文件“管理点与中心都存在部分_所有.txt”

 

 

4    5.04中文版本《DB 查询分析器》为例  

       下面我们就以“万能数据库查询分析器”的中文版本《DB 查询分析器》 5.04为例，以Windows 2000Server操作系统为平台，先创建基于目录 “D:\ODBC_TXT_CSV”中 .TXT/.CSV 文件的ODBC数据源 “odbc_txt_csv”，然后再通过 DB 查询分析器 5.04来访问这些目录下的文件。

     操作系统： Windows2000 Server操作系统

     CPU：2.8 GHZ 单核
   内存：1GB

     前台程序： DB 查询分析器 5.04

     后台文件： .TXT/.CSV

图3  创建基于 .CSV/.TXT 文件的ODBC数据源（一）

 

图4  创建基于 .CSV/.TXT 文件的ODBC数据源（二）

图5  登录odbc_txt_csv，不用输入用户名和口令

 

图6  对象浏览器来查看数据源 odbc_txt_csv

图7 Windows资源管理器中，ODBC数据源odbc_txt_csv对应的目录下所有的文件

 

图8  用SQL语句来访问 .txt和 .csv文件，来生成各区域需要回传的流水

 

图8中的复杂的SQL语句如下：

 

select listno,'2014-06-16'

from

(

    select distinct b.LISTNO,b.roadno

    --select count(*) asrec_num,sum(b.CASHMONEY)/100 as CASHMONEY,sum(b.ETCMONEY)/100 as ETCMONEY

    from

    ( 

        selectw.roadno,w.squaddate,w.roadname,w.outvehclass,

               sum(w.rec_count) as rec_count1,sum(w.cashmoney) as cashmoney1,sum(w.etcmoney) as etcmoney1

        from

        (

           select *

           FROM  [流水大于0.csv] 

           where (备注 is null) and 回送标志='回送' and(cashmoney+etcmoney)<0

           union all

           select *

           FROM  [流水小于0.csv] 

           where (备注 is null) and 回送标志='回送' and(cashmoney+etcmoney)<0

        ) w

        group byw.roadno,w.squaddate,w.roadname,w.outvehclass

   

    ) a,[管理点与中心都存在部分_所有.txt] b

    where  ( (b.CASHMONEY+b.ETCMONEY)<0 ) and a.roadno=b.roadno anda.SQUADDATE=b.SQUADDATE

          anda.OUTVEHCLASS=b.OUTVEHCLASSNAME

    union

    select distinct b.LISTNO,b.roadno

    --select count(*) asrec_num,sum(b.CASHMONEY)/100 as CASHMONEY,sum(b.ETCMONEY)/100 as ETCMONEY

    from

    ( 

        selectw.roadno,w.squaddate,w.roadname,w.outvehclass,

               sum(w.rec_count) as rec_count1,sum(w.cashmoney) as cashmoney1,sum(w.etcmoney) as etcmoney1

        from

        (

           select *

           FROM  [流水大于0.csv] 

           where (备注 is null) and 回送标志='回送' and(cashmoney+etcmoney)>0

           union all

           select *

           FROM  [流水小于0.csv] 

           where (备注 is null) and 回送标志='回送' and(cashmoney+etcmoney)>0

        ) w

        group byw.roadno,w.squaddate,w.roadname,w.outvehclass

   

    ) a,[管理点与中心都存在部分_所有.txt] b

    where  ( (b.CASHMONEY+b.ETCMONEY)>0 ) and a.roadno=b.roadno anda.SQUADDATE=b.SQUADDATE

          anda.OUTVEHCLASS=b.OUTVEHCLASSNAME  

    union

    select distinct b.LISTNO,b.roadno

    --select count(*) asrec_num,sum(b.CASHMONEY)/100 as CASHMONEY,sum(b.ETCMONEY)/100 as ETCMONEY

    from

    ( 

        selectw.roadno,w.squaddate,w.roadname,w.outvehclass,

               sum(w.rec_count) as rec_count1,sum(w.cashmoney) as cashmoney1,sum(w.etcmoney) as etcmoney1

        from

        (

           select *

           FROM  [流水大于0.csv] 

           where (备注='只管理点存在') and 回送标志='回送' and(cashmoney+etcmoney)<0

           union all

           select *

           FROM  [流水小于0.csv] 

           where (备注='只管理点存在') and 回送标志='回送' and(cashmoney+etcmoney)<0

        ) w

        group byw.roadno,w.squaddate,w.roadname,w.outvehclass

   

    )  a,[管理点存在中心不存在的流水_所有.txt] b

    where ((b.CASHMONEY+b.ETCMONEY)<0 ) and a.roadno=b.roadno anda.SQUADDATE=b.SQUADDATE

          anda.OUTVEHCLASS=b.OUTVEHCLASSNAME

    union

    select distinct b.LISTNO,b.roadno

    --select count(*) asrec_num,sum(b.CASHMONEY)/100 as CASHMONEY,sum(b.ETCMONEY)/100 as ETCMONEY

    from

    ( 

        selectw.roadno,w.squaddate,w.roadname,w.outvehclass,

               sum(w.rec_count) as rec_count1,sum(w.cashmoney) as cashmoney1,sum(w.etcmoney) as etcmoney1

        from

        (

           select *

           FROM  [流水大于0.csv] 

           where (备注='只管理点存在') and 回送标志='回送' and(cashmoney+etcmoney)>0

           union all

           select *

           FROM  [流水小于0.csv] 

           where (备注='只管理点存在') and 回送标志='回送' and(cashmoney+etcmoney)>0

        ) w

        group byw.roadno,w.squaddate,w.roadname,w.outvehclass

   

    )  a,[管理点存在中心不存在的流水_所有.txt] b

    where ((b.CASHMONEY+b.ETCMONEY)>0 ) and a.roadno=b.roadno anda.SQUADDATE=b.SQUADDATE

          anda.OUTVEHCLASS=b.OUTVEHCLASSNAME   

)      www

where roadno in (select roadno from [tb_road.txt] where areano=4407)

 

图9  一开始执行图8中的SQL语句时，本机CPU使用率立刻攀升至97%

 

图10  生成中片区需要回传的流水文件，共有6万多条记录

图11 从结算中心数据库中用挖掘生成的所有忽略的流水，两个文件共250多万条记录

 

结论：

     对于“交互式”这种数据处理的方式来说，将结果导出，用《DB 查询分析器》的强大、高效的文本文件的处理功能来分析处理，也是一种不错的选择。并且《DB 查询分析器》的效率非常之高、处理非常方便，可以将源文件当成一个数据库中的数据表一样用标准SQL语句来进行访问。

        本人的PC机只不过内存1GB的2005年的DELL 台式PC机，对250万条记录的文件进行关联访问的时候，也只是用不到59秒的时间就生成了一个区域的结果文件，期间CPU使用率高达97% 。

 

 

5     本人撰写的关于“万能数据库查询分析器”的64 篇技术文章  

 

目前以下6篇文章发布几个国内计算机刊物上：

[1] 马根峰· DB QueryAnalyzer中断SQL语句的执行 · 杭州：《计算机时代》，2011年第12期

[2] 马根峰· DB查询分析器 批量执行DML语句并返回更详细的信息 · 北京：《电脑编程技巧与维护》，2011年第24期

[3] 马根峰· DBQuery Analyzer中的事务管理在DB2中的应用 · 北京：《电脑编程技巧与维护》，2011年第22期

[4] 马根峰· DB查询分析器中断SQL语句的执行· 天津：《软件》，2011年第6期

[5] 马根峰· 万能数据库查询分析器中的事务管理在Oracle中的应用 · 上海：《微型电脑应用》，2011年第11期

       [6] 马根峰 · 新产品&工具点评 特别推荐：“万能数据库查询分析器”发布 · 程序员，2007年2期

 

以下58篇文章发布在百度文库、CSDN资源、和本人的四大博客上：

《万能数据库查询分析器使用技巧之（一）》直到《万能数据库查询分析器使用技巧之（十三）》共13篇

《The 1st tip ofDB Query Analyze》直到《The 13th skills of DB Query Analyzer》共13篇

《如何在客户端配置ODBC来访问远程DB2 for Windows服务器》

《How to configure ODBC DSN in Client toaccess remote DB2 for Windows》

《如何在服务器上配置ODBC来访问本机DB2 forWindows服务器》

《How to configure ODBC DSN to access localDB2 for Windows》

《软件开发顶尖高手的杀手锏SQL语句》

《Which SQL statement is the trump card tothe senior software developer》

《DB 查询分析器批量执行DML语句并返回更详细的信息》

《用“万能数据库查询分析器”测试SQLite对4大SQL精髓语句的支持》

《用“DB查询分析器”的对象浏览器来展现数据库的数据字典》

《万能数据库查询分析器用户已基本涵盖当前所有数据库系统》

《The DBMS that DB Query Analyzer Users oftenuse cover all kinds of DBMS》

《查询分析器应必须具备的功能-中断查询的执行》

《万能数据库查询分析器的EXE文件加壳技术》

《Exe packer prevent DB Query Analyzer frombeging debugged》

《自己开发的“万能数据库查询分析器”终于有了较大的成果》

《DB Query Analyzer中断SQL语句的执行》

《DB 查询分析器 批量执行DML语句并返回更详细的信息》

《DB Query Analyzer中的事务管理在DB2中的应用》

《DB 查询分析器中断SQL语句的执行》

《万能数据库查询分析器中的事务管理在Oracle中的应用》

《特别推荐：“万能数据库查询分析器”发布》

《软件开发高手须掌握的4大SQL精髓语句（一）》

《软件开发高手须掌握的4大SQL精髓语句（二）》

《软件开发高手须掌握的4大SQL精髓语句（三）》

《软件开发高手须掌握的4大SQL精髓语句（四）》

《软件开发高手须掌握的4大SQL精髓语句（综合篇）》

《巅峰之作----“万能数据库查询分析器”5.01发布》

《万能数据库查询分析器与EXCEL强强联合进行数据分析》

《DB 查询分析器批量执行多条SQL语句并查看各自的执行时间》

《DB查询分析器访问EXCEL时，要在表名前后加上中括弧或双引号》

《The table name must be enclosed in double quotation marks or sqarebracket while accessing EXCEL by DB Query Analyzer》

   《基于数据仓库星形模式的广东省高速公路一张网资金结算情况分析系统》

 

 

 

 

 

 

DB查询分析器 5.04  中关村在线下载地址：

http://xiazai.zol.com.cn/detail/27/264455.shtml

 

 

DBQuery Analyzer 5.04中关村在线下载地址： 

http://xiazai.zol.com.cn/detail/43/420901.shtml

 

  

 

 

备注：

 如果您的计算机上安装有“万能数据库查询分析器”以前的版本，请先将旧版本 Uninstall，然后再安装新版本，谢谢！

 

 

 

作者简介：

马根峰，硕士，研究方向：数据库应用。

个人开发了万能数据库查询分析器，中文版本《DB 查询分析器》、英文版本《DB Query Analyzer》。它具有强大的功能、友好的操作界面、良好的操作性、跨越各种数据库平台乃至于EXCEL和文本文件。

个人还开发了彻底删除文件（File Delete Absolutely），用以将Windows系统上的文件彻底删除，不会被其它软件恢复。

这两个软件均免费使用，在各内几大软件下载网站中关村在线、天空软件站、华军软件园、太平洋电脑、非凡软件站、绿色联盟等均有下载。

 

 

作者博客：

CSDN博客：http://blog.csdn.net/magenfeng

新浪博客：  http://blog.sina.com.cn/magenfeng

QQ空间：  http://user.qzone.qq.com/630414817

 

 

转载于:https://my.oschina.net/qzhlove/blog/333372