使用DB查询分析器实现异构数据源中数据表的相互访问

 

1  引言  

硕士程序员马根峰（CSDN专访马根峰：海量数据处理与分析大师的中国本土程序员）推出的个人作品----万能数据库查询分析器，中文版本DB 查询分析器、英文版本《DB Query Analyzer》。它具有强大的功能、友好的操作界面、良好的操作性、跨越各种数据库平台乃至于EXCEL和文本文件。

你可以通过它 ① 查询ODBC数据源（包括世面上所有的数据库、TXT/CSV文件、EXCEL文件）的数据。② 你可以同时执行多条DML语句乃至存贮过程，结果会以你设定的表格、文本框、文件来返回； ③ 从数据库导出千万条数据时，效率与DBMS没有什么区别； ④ 允许执行的多条SQL语句返回的记录集保存到多个文件中；⑤ 允许用户自定义单次、周、月的“SQL 执行计划”；⑥ 具有强大的 SQL “执行计划”功能，你只要将“工具-à选项”窗口中的选项“SQL执行计划连接自动恢复”设置为“选中”状态，那么即使在“SQL执行计划”期间数据库服务器宕过机，只要在“SQL执行计划”的时刻数据库服务器是处理启动状态，那么“SQL执行计划”都会被执行；⑦ 允许用户自定义导出文件中的字段间分隔符与行结束符； ⑧ 6．03版本已经完全兼容任何Microsoft的Windows操作系统系列，包括Windows 10、Windows 8、Windows 7、WindowsVista、Windows 2003、Windows XP、Windows 2000、Windows NT、Windows ME、Windows 9X，可以直接在Windows操作系统上运行，而不需要更改任何操作系统的设置或者配置。

DB 查询分析器在中关村在线（http://xiazai.zol.com.cn/detail/27/264455.shtml） 下载量超过12万 次，位居整个数据库类排行榜中前10位。 

在《程序员》2007第2期的“新产品&工具点评”部分，编辑“特别推荐”了万能数据库查询分析器发布。

本人还撰写了关于万能数据库查询分析器有关技术中文、英文的 93 篇文章，发布在《电脑编程技巧与维护》、《软件》、《计算机时代》、《电脑编程技巧与维护》、百度文库、CSDN资源、和本人的CSDN博客上。

本文将以中文版本DB 查询分析器7.022 版本为例，详细介绍 如何使用DB查询分析器来进行不同数据源中数据表的相互访问。7.022版本解决了SQL执行计划功能和其它功能的若干BUG，强烈建议使用最新的7.022版本。

 

 

2  不同数据源中数据表间的常规访问技术

异构数据源中数据表的相互访问，要么通过分布式数据库访问技术，要么通过数据整合，将数据整合到一个数据库中。
   
    对于大型数据库系统来说，都提供分布式数据库访问技术，是否支持异构数据库（即不同厂家的数据库产品）的访问，具体要看该数据库产品的技术说明。

例如，对于ORACLE来说，通过创建 DBLINK 来进行不同地点的 ORACEL 数据库或者异构数据库的访问；对于 DB2 而言，通过infosphere federation server，即 DB2 数据联邦技术来进行不同地点的DB2数据库或者异构数据库的访问；对于MS SQL SERVER 来说，通过创建链接服务器来进行不同地点的 MS SQL SERVER 数据库或者异构数据库的访问。

不过对于初学者来说，以上的技术并非容易。

但对于万能数据库查询分析器而言，则都可以直接连接上你的任何数据大型数据库系统，来访问其中的数据表以及该数据库的链接数据库中的数据表。但凡使用过万能数据库查询分析器的用户，都会非常喜欢它的良好的操作性、友好的操作界面和强大的功能。

不仅如此，还可以通过 Windows 资源管理器创建一个目录，将所有数据源中要访问的数据表导出 TXT/CSV 文件到创建的目录中，然后建立一个基于 TXT/CSV 的 ODBC 数据源指向这个目录中，于是万能数据库查询分析器就可以直接访问该目录中的所有 TXT/CSV 文件，每个文件就像数据库中的一个数据表一样，他们之间可以用标准的SQL语言来进行访问，甚至关联访问。 

 

3  DB 查询分析器进行三个ODBC数据源数据表访问的集成环境实例  

本例子是使用DB查询分析器的月执行计划功能，来生成交通部的数据旬报数据，关于如何旬报数据的详细算法与资料，请参见本人的技术文章（如何使用《DB 查询分析器》高效地生成旬报货运量数据http://blog.csdn.net/magenfeng/article/details/51615862）

本例子中，涉及到3个数据源，第一个是EXCEL文件(ODBC数据源Excel_省界站)；第二个是AIX上的DB2数据库(ODBC数据源UNITOLL2)；第三个就是指向目录D:\BETWEEN_DB中TXT/CSV的ODBC数据源TXT_CSV_ODBC。

 

3.1 创建ODBC数据源Excel_省界站

图1  创建指向EXCEL文件的ODBC数据源（一）

 

图2  创建指向EXCEL文件的ODBC数据源（二）

 

 

图3  创建指向EXCEL文件的ODBC数据源（三）

 

 

3.2 创建TXT/CSV数据源TXT_CSV_ODBC

图4  创建指向TXT/CSV文件的ODBC数据源TXT_CSV_ODBC（一）

 

 

图5  创建指向TXT/CSV文件的ODBC数据源TXT_CSV_ODBC（二）

 

 

 

3.3  DB查询分析器访问EXCEL_省界站，生成 D:\BETWEEN_DB\省界站.txt

图6  访问EXCEL_省界站，生成 D:\BETWEEN_DB\省界站.txt

 

 

3.4 DB查询分析器访问UNITOLL2，生成 几个TXT文件

大家看一条文本文件关联的SQL脚本，用于计算本旬数据中的从新增收费站入并且不是从省界站入指标。

SELECT  round(sum(货车车流量_万辆),0),round(sum(货运量_万吨),0)
FROM  [本旬.txt]  
WHERE (TRIM(INAREANO)+','+TRIM(INROADNO)+','+TRIM(INSTATIONNO)) IN (SELECT TRIM(AREANO)+','+TRIM(ROADNO)+','+TRIM(STATIONNO) FROM [新增收费站.txt] ) 
      AND 
      (TRIM(INAREANO)+','+TRIM(INROADNO)+','+TRIM(INSTATIONNO)) NOT IN (SELECT TRIM(AREANO)+','+TRIM(ROADNO)+','+TRIM(STATIONNO) FROM [省界站.txt] )
 

图7  添加月执行计划，访问UNITOLL2，生成 D:\BETWEEN_DB\新增收费站.txt

 

另外，在其它窗口，使用DB查询分析器创建生成其它4个TXT文件的月执行计划，来分别生成本旬.txt、去年本旬.txt、月初到本旬累计.txt、去年月初到本旬累计.txt这4个TXT文件。

 

 

3.5 DB查询分析器访问TXT_CSV_ODBC，生成 最终旬报结果文件D:\BETWEEN_DB\执行结果.csv

图8  访问TXT_CSV_ODBC，生成 D:\BETWEEN_DB\执行结果.csv （一）

 

 

图9  访问TXT_CSV_ODBC，生成 D:\BETWEEN_DB\执行结果.csv （二）

图10  执行结果.csv文件的内容

 
 
 

 

图11  数据源TXT_CSV_ODBC对应的目录 D:\BETWEEN_DB

 

 

4  结束语

   今天只是举例来介绍一下DB查询分析器如何创建一个集成的目录环境，来进行跨数据源的数据访问。

本人共撰写关于万能数据库查询分析器的93 篇中文、英文的技术文章来介绍它的强大功能，这些文章及下载链接详见本人的CSDN博客：http://blog.csdn.net/magenfeng。

因为万能数据库查询分析器安装时不需要任何插件与虚拟环境，并且完全兼容任何Microsoft的Windows操作系统系列，包括最新的Windows 10，所以安装在资金结算中心的Windows各版本操作系统上，因为其强大的功能、友好的操作界面、良好的操作性、跨不同的数据库平台，它为数据库应用的开发者提供更方便、快捷的支持，在广东联合电子服务股份有限公司得到了广泛地使用与好评。

 

5   本人撰写的关于万能数据库查询分析器的93 篇技术文章  

目前以下7篇文章发布几个国内计算机刊物上：

[1] 马根峰· 基于数据仓库的广东省高速公路一张网过渡期通行数据及异常分析系统 · 杭州：《计算机时代》，2015年第7期

[2] 马根峰· DB QueryAnalyzer中断SQL语句的执行 · 杭州：《计算机时代》，2011年第12期

[3] 马根峰· DB查询分析器 批量执行DML语句并返回更详细的信息 · 北京：《电脑编程技巧与维护》，2011年第24期

[4] 马根峰· DBQuery Analyzer中的事务管理在DB2中的应用 · 北京：《电脑编程技巧与维护》，2011年第22期

[5] 马根峰· DB查询分析器中断SQL语句的执行· 天津：《软件》，2011年第6期

[6] 马根峰· 万能数据库查询分析器中的事务管理在Oracle中的应用 · 上海：《微型电脑应用》，2011年第11期

    [7] 马根峰 · 新产品&工具点评 特别推荐：万能数据库查询分析器发布 · 程序员，2007年2期

 

以下86篇文章发布在百度文库、CSDN资源、和本人的四大博客上：

《万能数据库查询分析器使用技巧之（一）》直到《万能数据库查询分析器使用技巧之（十六）》共16篇

《The 1st tip of DB Query Analyze》直到《The 16th skills of DB Query Analyzer》共16篇

《如何在客户端配置ODBC来访问远程DB2 for Windows服务器》

《How to configure ODBC DSN in Client to access remote DB2 for Windows》

《如何在服务器上配置ODBC来访问本机DB2 for Windows服务器》

《How to configure ODBC DSN to access local DB2 for Windows》

《软件开发顶尖高手的杀手锏SQL语句》

《Which SQL statement is the trump card tothe senior software developer》

《DB 查询分析器批量执行DML语句并返回更详细的信息》

《用万能数据库查询分析器测试SQLite对4大SQL精髓语句的支持》

《用“DB查询分析器”的对象浏览器来展现数据库的数据字典》

《万能数据库查询分析器用户已基本涵盖当前所有数据库系统》

《The DBMS that DB Query Analyzer Users often use cover all kinds of DBMS》

《查询分析器应必须具备的功能-中断查询的执行》

《万能数据库查询分析器的EXE文件加壳技术》

《Exe packer prevent DB Query Analyzer from being debugged》

《自己开发的万能数据库查询分析器终于有了较大的成果》

《DB Query Analyzer中断SQL语句的执行》

《DB 查询分析器 批量执行DML语句并返回更详细的信息》

《DB Query Analyzer中的事务管理在DB2中的应用》

《DB 查询分析器中断SQL语句的执行》

《万能数据库查询分析器中的事务管理在Oracle中的应用》

《特别推荐：万能数据库查询分析器发布》

《软件开发高手须掌握的4大SQL精髓语句（一）》

《软件开发高手须掌握的4大SQL精髓语句（二）》

《软件开发高手须掌握的4大SQL精髓语句（三）》

《软件开发高手须掌握的4大SQL精髓语句（四）》

《软件开发高手须掌握的4大SQL精髓语句（综合篇）》

《巅峰之作----万能数据库查询分析器5.01发布》

《万能数据库查询分析器与EXCEL强强联合进行数据分析》

《DB 查询分析器批量执行多条SQL语句并查看各自的执行时间》

《DB查询分析器访问EXCEL时，要在表名前后加上中括弧或双引号》

《The table name must be enclosed in double quotation marks or square bracket while accessing EXCEL by DB Query Analyzer》

《如何使用ZOL一键安装器下载中关村在线的源安装包》

《How to download the installation package by ZOL Downer》

《DB 查询分析器 6.03 ，遨游于任何Windows操作系统之上的最优秀的数据库客户端工具》

《DB Query Analyzer, the most excellent Universal database Access tools on any Microsoft Windows OS 》

《DB 查询分析器 6.03 在Windows 8.1上安装与运行演示》

《Demonstration of DB Query Analyzer 6.03 Installation and Running on Microsoft Windows 8 》

《DB 查询分析器 6.03 如何灵活、快捷地操作国产达梦数据库》

《DB 查询分析器 6.03 方便地创建DB2 自定义函数》

《How to easily create DB2 user function by DB Query Analyzer 6.03 》

《DB 查询分析器 7.01在 Windows 10 上的安装与运行展示》

《Install and run DB Query Analyzer 7.01 on Microsoft Windows 10》

 《通用固定长度编码格式的字符串查找算法的实现》

《A universal function of searching fixed-length coded string in a string field》

《如何使用 DB 查询分析器高效地生成旬报货运量数据》

《How to generate the complex data regularly to Ministry of Transport of P.R.C by DB Query Analyzer》

《DB 查询分析器使用SQL语句直接高效地访问文本文件》

《Access text files using SQL statements by DB Query Analyzer》

《DB 查询分析器7.01新增的周、月SQL执行计划功能》

《The new powerful function SQL executing schedule monthly or weekly in DB Query Analyzer 7.01》

《DB 查询分析器7.01 新增的保存执行结果到多个文件功能》

《Save results to different files when executing multi SQL statements in DB Query Analyzer 7.01》

《使用DB查询分析器实现异构数据源中数据表的相互访问》

《Data access between different DBMS and other txt/csv data source by DB Query Analyzer》

 

关于我

    马根峰本人的微信公众号：

    万能数据库查询分析器

马根峰的博客：

CSDN博客：http://blog.csdn.net/magenfeng

新浪博客：  http://blog.sina.com.cn/magenfeng

官方网址：   http://www.unitedpowersoft.cn

     更多精彩文章，技术分享，敬请期待