使用Kettle编写抽取数据

最新推荐文章于 2024-03-24 15:04:42 发布

伟衙内

最新推荐文章于 2024-03-24 15:04:42 发布

阅读量1.7k

点赞数 1

分类专栏： kettle 文章标签： kettle etl 数据抽取

本文链接：https://blog.csdn.net/lw18751836671/article/details/103593363

版权

kettle 专栏收录该内容

25 篇文章 7 订阅

订阅专栏

环境

Eclipse, jdk8,window10

工程搭建

引入kettle的jar包

<kettle.version>5.1.0.0-752</kettle.version>
<dependency>
			<groupId>pentaho-kettle</groupId>
			<artifactId>kettle-engine</artifactId>
			<version>${kettle.version}</version>
		</dependency>
		<dependency>
			<groupId>pentaho-kettle</groupId>
			<artifactId>kettle-core</artifactId>
			<version>${kettle.version}</version>
		</dependency>

引入辅助包

辅助包就是Kettle中可能使用到的

<dependency>
			<groupId>org.apache.commons</groupId>
			<artifactId>commons-lang3</artifactId>
			<version>3.8</version>
		</dependency>
		<dependency>
			<groupId>commons-vfs</groupId>
			<artifactId>commons-vfs</artifactId>
			<version>20100924-pentaho</version>
		</dependency>
		<dependency>
			<groupId>commons-logging</groupId>
			<artifactId>commons-logging</artifactId>
			<version>1.2</version>
		</dependency>
		<dependency>
			<groupId>com.googlecode.json-simple</groupId>
			<artifactId>json-simple</artifactId>
			<version>1.1.1</version>
		</dependency>

3. 添加mysql连接jar包

<dependency>
	   <groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
			<version>5.1.44</version>
		</dependency>

4. 添加lombok包

lombok是一款生成getter,settter的包，很方便，eclipse还需要安装插件来编译生成getter,setter

<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
			<version>1.18.0</version>
		</dependency>

创建数据库和表

Create database test;

创建数据来源表：
CREATE TABLE `etl_src_table` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) DEFAULT NULL,
  `age` int(3) DEFAULT NULL,
  `mail` varchar(40) DEFAULT NULL,
  `phone` varchar(20) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8;

创建目标表：
CREATE TABLE `etl_dest_table` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) DEFAULT NULL,
  `age` int(3) DEFAULT NULL,
  `mail` varchar(40) DEFAULT NULL,
  `phone` varchar(20) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

代码分析

初始话kettle环境

很重要，否则有时候会有一些莫名其妙错误

// 初始化Kettle环境

KettleEnvironment.init();

EnvUtil.environmentInit();
定义数据库信息

此处有两种方法，一种是使用XML，一种构造方法传参

A) xml格式，定义一个xml报文

/**
     * 数据库连接信息,适用于DatabaseMeta其中 一个构造器DatabaseMeta(String xml)
     */
	protected String databasesXML = 
		"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
			+ "<connection>"
			+ "<name>{0}</name>"
			+ "<server>{1}</server>"
			+ "<type>{2}</type>"
			+ "<access>{3}</access>"
			+ "<database>{4}</database>"
			+ "<port>{5}</port>"
			+ "<username>{6}</username>"
			+ "<password>{7}</password>"
			+ "</connection>";

然后将值放入

//添加转换的数据库连接
        String xml = MessageFormat.format(databasesXML, new Object[] {
        		srcDBName,
        		srcDB.getServer(),
        		"MySQL",
        		"Native",
        		srcDB.getDatabase(),
        		srcDB.getPort(),
        		srcDB.getUsername(),
        		srcDB.getPassword()
        });
		DatabaseMeta dbMeta = new DatabaseMeta(xml);

B) 传参方式

final String srcDBName = "srcDB";
		DatabaseMeta dbMeta = new DatabaseMeta(srcDBName, srcDB.getType(),
				srcDB.getAccess(), srcDB.getServer(), srcDB.getDatabase(),
				srcDB.getPort(), srcDB.getUsername(), srcDB.getPassword());

3. mysql处理

其他数据库可以跳过，为了防止数据库字段查询出来乱码问题

dbMeta.setConnectSQL(MessageFormat.format("set names ''{0}'';",

new Object[] { "utf8" }));

因为mysql数据库是，数据库编码，字段编码，每个字段编码可以不同。

4. 生成表输入

TableInputMeta tableInputMeta = new TableInputMeta();
		String tableInputPluginId = registry.getPluginId(StepPluginType.class,
				tableInputMeta);
		// 给表输入添加一个DatabaseMeta连接数据库
		tableInputMeta.setDatabaseMeta(transMeta.findDatabase(srcDBName));

5. 设置查询SQL

// 构造查询SQL
		String selectSql = "select {0} from {1}";
		selectSql = MessageFormat.format(
				selectSql,
				new Object[] {
						StringUtils.join(extractBean.getSrcFields(), ","),
						extractBean.getSrcTable()[0] });
		tableInputMeta.setSQL(selectSql);

上述SQL语句有{0},{1}这种变量，所以还需要设置替换SQL中变量

// 替换SQL语句中变量

tableInputMeta.setVariableReplacementActive(true);

6. 将操作添加到步骤中

只有将操作添加到步骤中才可以，这样才能形成一个流程，操作就是流程中的一个节点，和工作流相似。

// 将TableInputMeta添加到转换中
		StepMeta tableInputStepMeta = new StepMeta(tableInputPluginId,
				"tableInput", (StepMetaInterface) tableInputMeta);
		transMeta.addStep(tableInputStepMeta);

7. 选择字段

选择你要获取的字段信息，虽然在sql中设置了查询字段，但是此处是获取查询字段中要获取数据的字段。

相当于查询出name,age,address,phone,sex等个人信息，但是某个流程只需要name即可。

// 字段选择
		SelectValuesMeta selectValuesMeta = new SelectValuesMeta();
		String selectValuesPluginId = registry.getPluginId(
				StepPluginType.class, selectValuesMeta);
		selectValuesMeta.allocate(extractBean.getSrcFields().length, 0, 0);
		selectValuesMeta.setSelectName(extractBean.getSrcFields());