利用kettle的自定义java给sqlserver复制表

最新推荐文章于 2023-11-01 20:35:25 发布
最新推荐文章于 2023-11-01 20:35:25 发布
阅读量424 收藏
点赞数
分类专栏： kettle 文章标签： java sql server kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35201754/article/details/78710260
版权

利用kettle的自定义java给sqlserver复制表

eclipse代码:

package copyTable;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;



public class CopyTable {
    String driverName = "com.microsoft.sqlserver.jdbc.SQLServerDriver";
    String copyFromUrl;
    String copyFromDatabase;
    String copyFromUserName;
    String copyFromPassword;
    String copyToUrl;
    String copyToDatabase;
    String copyToUserName;
    String copyToPassword;
    /**
     * 构造方法接收两个数据库的连接信息
     * @param copyFromUrl    示例：localhost
     * @param copyFromDatabase  
     * @param copyFromUserName
     * @param copyFromPassword
     * @param copyToUrl   示例：127.0.0.1
     * @param copyToDatabase 
     * @param copyToUserName
     * @param copyToPassword
     */
/*  CopyTable(String copyFromUrl,String copyFromDatabase,String copyFromUserName,String copyFromPassword,
            String copyToUrl,String copyToDatabase,String copyToUserName,String copyToPassword
            ){
        this.copyFromUrl = copyFromUrl;
        this.copyFromDatabase = copyFromDatabase;
        this.copyFromUserName = copyFromUserName;
        this.copyFromPassword = copyFromPassword;

        this.copyToUrl = copyToUrl;
        this.copyToDatabase = copyToDatabase;
        this.copyToUserName = copyToUserName;
        this.copyToPassword = copyToPassword;

    }*/
    /**
     * 初始化
     * @param copyFromUrl  示例：127.0.0.1
     * @param copyFromDatabase
     * @param copyFromUserName
     * @param copyFromPassword
     * @param copyToUrl   示例：127.0.0.1
     * @param copyToDatabase
     * @param copyToUserName
     * @param copyToPassword
     */
    public void Init(String copyFromUrl,String copyFromDatabase,String copyFromUserName,String copyFromPassword,
            String copyToUrl,String copyToDatabase,String copyToUserName,String copyToPassword){
        this.copyFromUrl = copyFromUrl;
        this.copyFromDatabase = copyFromDatabase;
        this.copyFromUserName = copyFromUserName;
        this.copyFromPassword = copyFromPassword;

        this.copyToUrl = copyToUrl;
        this.copyToDatabase = copyToDatabase;
        this.copyToUserName = copyToUserName;
        this.copyToPassword = copyToPassword;
    }
    /**
     * 获得源数据库的连接
     * @return Connection
     * @throws ClassNotFoundException
     * @throws SQLException
     */
    public Connection getConFrom() throws ClassNotFoundException, SQLException{

        Class.forName(this.driverName);
        String copyFromUrls = "jdbc:sqlserver://"+this.copyFromUrl+":1433;Database="+this.copyFromDatabase;
        Connection fromConnection = DriverManager.getConnection(copyFromUrls,this.copyFromUserName,this.copyFromPassword);
        return fromConnection;
    }
    /**
     * 获得目标数据库的连接，并打开Ad Hoc服务
     * @return Connection
     * @throws ClassNotFoundException
     * @throws SQLException
     */
    public Connection getConTo() throws ClassNotFoundException, SQLException{
        Class.forName(this.driverName);
        String copyToUrls = "jdbc:sqlserver://"+this.copyToUrl+":1433;Database="+this.copyToDatabase;
        Connection ToConnection = DriverManager.getConnection(copyToUrls,this.copyToUserName,this.copyToPassword);
         String s1 = 
                 "EXEC sp_configure 'show advanced options',1 "+
                 "RECONFIGURE "+
                 "EXEC sp_configure 'Ad Hoc Distributed Queries',1 "+
                 "RECONFIGURE";

         PreparedStatement stat = ToConnection.prepareCall(s1);
         stat.execute();
        return ToConnection;
    }



    /**
     * 获得源数据库的表名
     * @return List
     */
    public List getTableName(){
        try {
            Class.forName(this.driverName);
            this.copyFromUrl = this.copyFromUrl+";Database="+this.copyFromDatabase;
            Connection fromConnection = getConFrom();
            List TableNameList = new ArrayList();
            String sql = "SELECT Name FROM SysObjects Where XType='U' ORDER BY Name";
            ResultSet rSet = fromConnection.createStatement().executeQuery(sql);

            while(rSet.next()){
                TableNameList.add(rSet.getString("Name"));
            }

            rSet.close();
            fromConnection.close();
            return TableNameList;

        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        return null;
    }

  /**
   * 复制表结构
   * @return String
   */
    public String copyAllTableStructure(){
        List list = getTableName();
        String resultString = "";
        try {
            Connection conTo = getConTo();
            Statement statement  = conTo.createStatement();
            String sql = "SELECT Name FROM SysObjects Where XType='U' ORDER BY Name";
            for(int i = 0 ; i < list.size() ; i++){
                String tableNameString = (String) list.get(i);


                String s = 
                        "SELECT * INTO "+this.copyToDatabase+".dbo."+tableNameString
                        +" FROM opendatasource( 'SQLOLEDB', 'Data Source="+this.copyFromUrl
                        +";User ID="+this.copyFromUserName+";Password="+this.copyFromPassword+"')."
                        +this.copyFromDatabase+".dbo."+tableNameString+" WHERE 1=2";

                ResultSet rs = null;
                rs = statement.executeQuery(sql);
                boolean b  = true;

                while(rs!=null&&rs.next()){
                    String nameString = rs.getString("Name");
                    if(nameString.equals(tableNameString)){

                        b = false;
                    }


                }

                if(b){
                    statement.execute(s);
                    resultString = resultString + "  已创建"+tableNameString+"表";

                }else{
                    resultString = resultString + "  表" +tableNameString +"已存在";

                }

            }

        statement.close();
        conTo.close();
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        System.out.println(resultString);
        return resultString; 

    }
    /**
     * 复制表结构及其数据
     * @return String
     */
    public String copyAllTable(){
        List list = getTableName();
        String resultString = "";
        try {
            Connection conTo = getConTo();
            Statement statement  = conTo.createStatement();
            String sql = "SELECT Name FROM SysObjects Where XType='U' ORDER BY Name";
            for(int i = 0 ; i < list.size() ; i++){
                String tableNameString = (String) list.get(i);


                String s = 
                        "SELECT * INTO "+this.copyToDatabase+".dbo."+tableNameString
                        +" FROM opendatasource( 'SQLOLEDB', 'Data Source="+this.copyFromUrl
                        +";User ID="+this.copyFromUserName+";Password="+this.copyFromPassword+"')."
                        +this.copyFromDatabase+".dbo."+tableNameString;

                ResultSet rs = null;
                rs = statement.executeQuery(sql);
                boolean b  = true;

                while(rs!=null&&rs.next()){
                    String nameString = rs.getString("Name");
                    if(nameString.equals(tableNameString)){

                        b = false;
                    }


                }
                if(b){
                    statement.execute(s);
                    resultString = resultString + "  已复制"+tableNameString+"表";

                }else{
                    resultString = resultString + "  表" +tableNameString +"已存在";    
                }   
            }
            statement.close();
            conTo.close();

        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        System.out.println(resultString);
        return resultString; 
    }
    /**
     * 复制指定的表的结构
     * @param tableName
     * @return
     */
    public String copyTableStructureFromTableName(String tableName){
        String resultString = "";
        try {
            Connection conTo = getConTo();
            Statement statement  = conTo.createStatement();
            String sql = "SELECT Name FROM SysObjects Where XType='U' ORDER BY Name";

                String s = 
                        "SELECT * INTO "+this.copyToDatabase+".dbo."+tableName
                        +" FROM opendatasource( 'SQLOLEDB', 'Data Source="+this.copyFromUrl
                        +";User ID="+this.copyFromUserName+";Password="+this.copyFromPassword+"')."
                        +this.copyFromDatabase+".dbo."+tableName+" where 1=2";
                ResultSet rs = null;
                rs = statement.executeQuery(sql);
                boolean b  = true;

                while(rs!=null&&rs.next()){
                    String nameString = rs.getString("Name");
                    if(nameString.equals(tableName)){
                        b = false;
                    }
                }
                if(b){
                    statement.execute(s);
                    resultString = resultString + "  已复制"+tableName+"表";

                }else{
                    resultString = resultString + "  表" +tableName +"已存在";  
                }   

                statement.close();
                conTo.close();
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        System.out.println(resultString);

        return resultString; 
    }
    /**
     * 复制指定的表的结构及数据
     * @param tableName
     * @return
     */
    public String copyTableFromTableName(String tableName){
        String resultString = "";
        try {
            Connection conTo = getConTo();
            Statement statement  = conTo.createStatement();
            String sql = "SELECT Name FROM SysObjects Where XType='U' ORDER BY Name";

                String s = 
                        "SELECT * INTO "+this.copyToDatabase+".dbo."+tableName
                        +" FROM opendatasource( 'SQLOLEDB', 'Data Source="+this.copyFromUrl
                        +";User ID="+this.copyFromUserName+";Password="+this.copyFromPassword+"')."
                        +this.copyFromDatabase+".dbo."+tableName;
                ResultSet rs = null;
                rs = statement.executeQuery(sql);
                boolean b  = true;

                while(rs!=null&&rs.next()){
                    String nameString = rs.getString("Name");
                    if(nameString.equals(tableName)){
                        b = false;
                    }
                }
                if(b){
                    statement.execute(s);
                    resultString = resultString + "  已复制"+tableName+"表";

                }else{
                    resultString = resultString + "  表" +tableName +"已存在";  
                }   
         statement.close();
         conTo.close();

        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        System.out.println(resultString);
        return resultString; 
    }

    public void close(){

         String s2 = 
                 "EXEC sp_configure 'Ad Hoc Distributed Queries',0 "+
                 "RECONFIGURE "+
                 "EXEC sp_configure 'show advanced options',0 "+
                 "RECONFIGURE";
         Connection toConn;
        try {
            toConn = this.getConTo();
             PreparedStatement stat = toConn.prepareCall(s2);
             stat.execute();
             stat.close();
             toConn.close();
        } catch (ClassNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (SQLException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
}

kettle的java代码：

import copyTable.CopyTable;

public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException
{
    Object[] r = getRow();
    if (r == null) {
        setOutputDone();
        return false;
    }

    if (first)
    {
        first = false;
    }


   CopyTable cTable = new CopyTable();
   //似乎这里无法用java的构造方法
   cTable.Init("127.0.0.1", "InfoReport", "sa","yutu@123", "127.0.0.1", "test", "sa", "123");

   String resuStr =  cTable.copyAllTableStructure();
   get(Fields.In, "resultString").setValue(r, resuStr);
    putRow(data.outputRowMeta, r);

    return true;
}

源码下载

川xc
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
inster into java_SELECT INTO 和 INSERT INTO SELECT 两种表复制语句
weixin_33045057的博客
02-17 348
Insert是T-sql中常用语句，Insert INTO table(field1,field2,...) values(value1,value2,...)这种形式的在应用程序开发中必不可少。但我们在开发、测试过程中，经常会遇到需要表复制的情况，如将一个table1的数据的部分字段复制到table2中，或者将整个table1复制到table2中，这时候我们就要使用SELECT INTO 和 I...
java表复制_java 复制SDS表为一个新表
weixin_36296325的博客
02-25 117
packagecom.huami.devops;importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;importcom.xiaomi.infra.galaxy.sds.client.ClientFactory;importcom.xiaomi.infra.galaxy.sds.thrift.AdminService;importcom.xiao...
数据源间表的复制--java实现(lp)
技术人生
01-10 2808
 一、Table or Result To ArrayList    将数据源connA中的tableName表的内容查询出来放到一个ArrayList中。       private static ArrayList TableToArrayList(String tableName, Connection connA) {              Statement stmt
Kettle：举例说明Oracle表数据复制
netyeaxi的专栏
06-02 837
举例说明Oracle表数据复制.
kettle连接sqlserver用的jtds.jar1.3.1版本，放到kettle lib目录下重启使用
04-09
标题中提到的"jtds.jar"是一个开源的Java数据库连接器（JDBC）驱动，它实现了对SQL Server和Sybase数据库的访问。jtds.jar 1.3.1版本是一个较旧但稳定的版本，适用于不少环境。在Kettle中，这个驱动用于建立与SQL ...
sqlserver与mysql数据库同步
12-03
同时，利用SQL Server的SQL Agent或Linux/Cron定时任务定期检查并同步数据。 4. **API和中间件**：编写自定义程序或使用现成的中间件，如Debezium，它可以监听数据库的变更日志，并通过API将变更事件推送到另一个...
SQL Server数据迁移至PostgreSQL出错的解释以及解决方案
09-10
在进行数据库迁移的过程中，尤其是从SQL Server到PostgreSQL这样的跨平台迁移，经常会遇到各种兼容性问题。本篇文章将深入探讨一个具体的错误：“invalid byte sequence for encoding \"UTF8\": 0x00”，并提供相应...
java开发kettle时用到的jar包
05-11
Kettle支持多种数据库，包括MySQL、Oracle、SQL Server等，db.jar提供了数据库连接、查询、事务管理等操作，使得开发者可以方便地进行数据抽取和加载操作。 再者，`engine.jar`是Kettle的引擎部分，它包含了执行...
kettle连接sqlserver连不上-jtds.jar包
04-12
kettle下载下来后没有相关数据库的驱动需要自己重新下载，连接sqlserver连不上，下载jtds.jar包放到kettle的libswt目录或者lib下，重新启动kettle即可。
kettle通过java脚本获取数据库的值
11-30
kettle通过java脚本获取数据库的值..................................................................
kettle链接SQL server驱动 sqljdbc
10-17
kettle 链接SQL server驱动，高版本的jdk建议使用 sqljdbc4，其他的建议使用 sqljdbc。 kettle 链接数据库必须的。
oracle到mysql的多表批量数据迁移-kettle的使用
CatOneTwo的专栏
01-14 2766
目录一、背景二、前期准备 一、背景 上一篇文章（单表数据迁移）用kettle实现了一张表的数据迁移。但实际情况中，数据库会有几百，几千张表，而kettle的表输入输出只能选择一张表，我们不可能一个个地填写表名。这时候，我们要考虑 通过循环实现多表的数据迁移。 二、前期准备 ...
Kettle 中去除Copy Tables Wizard生成的表名schema前缀
cobeebee的专栏
07-04 898
在kettle中有一个非常实用的功能Copy Tables Wizard，可以成批地把表从一个连接导入到另一个连接，特别是在异构数据库之间进行数据迁移非常好用。但这个功能有个小BUG，在导表的时候，目的数据库中新建表的表名都自动加上了源数据库的SCHEMA名，这样数据虽导过去了，但表名却走样了。感谢KETTLE，它是开源的，因此我们修改KETTLE的源代码，再重新编译，就可以解决这个问题
Kettle转换中执行自定义SQL及传递参数
热门推荐
qq_42668789的博客
06-09 1万+
Kettle中执行自定义SQL 一：直接执行SQL语句的情况二：传递参数，执行SQL脚本 一：直接执行SQL语句的情况 ！！！！！！注意在转换中，不论SQL脚本放在什么位置，都会先执行SQL脚本。除非设置单独执行每一行，见下方： 二：传递参数，执行SQL脚本 确定数据来源 ，表输入到执行SQL语句； 编写表输入SQL，并勾选替换SQL语句中的变量选项 3.编写要执行的SQL脚本，在需要使用参数的地方写 ‘?’ ,并勾选下方执行每一行和变量替换选项，再在参数栏中根据上方需要参数的顺序下拉选择。顺
单独使用jdbc开发程序
gr1021的博客
01-08 219
import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; /** * 单独使用jdbc开发程序 */ public class JdbcTest {
java jdbc封装的好处_关于JDBC的简单封装(实例讲解)
weixin_35599225的博客
02-13 327
import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;/*** 数据库连接工具* @author 2017**/public class DbTool {/*** 数据库的类*/private static final ...
JAVA连接Mysql——JDBC详细教程
最新发布
Smile的博客
11-01 6004
组件名称简介常用方法名称简介参数返回值类型这个类管理一系列数据库驱动程序。匹配连接使用通信子协议从 JAVA 应用程序中请求合适的数据库驱动程序。识别 JDBC 下某个子协议的第一驱动程序将被用于建立数据库连接。尝试建立与给定数据库URL的连接。url- 表单的数据库网址。user- 代表其建立连接的数据库用户。password- 用户密码。ConnectionConnection与特定数据库的连接会话。执行SQL语句，并在连接的上下文中返回结果。
kettle 使用java脚本连接获取数据库中的值
qq_35201754的博客
11-30 3331
思路：在kettle中通过设置自定义常数来获取java脚本的值，在kettle的libswt\win64目录下放入用到的含有java.sql中的类的jar包rt.jar,  在 java脚本中像正常java一样写代码连接数据库。可惜这样查询到的结果会将之前的结果给覆盖，需要再做处理。 整的流程： 自定义常量数据： java代码：import java.sql.*; publ
Kettle自定义Java步骤：入门实战与核心原理
在Kettle转换中，当现有工具无法满足特定需求时，开发人员可以利用Java代码步骤进行定制。这是一种常见的解决方案，因为它成本低且对开发者的要求相对较低，前提是他们具备一定的Java编程基础和对Kettle框架的理解。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值