多数据源合并和不一致数据的转换

最新推荐文章于 2024-05-20 18:37:38 发布
最新推荐文章于 2024-05-20 18:37:38 发布
阅读量1.3k 收藏 1
点赞数 1
文章标签： etl sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73539526/article/details/127284979
版权

一、多数据合并

目录

一、多数据合并

        1.准备数据

        2.打开kettle工具创建转换

        3.配置步骤

        4.运行转换并查看结果

二、不一致数据的转换

        1.准备数据

        2.打开kettle工具创建转换

        3.配置步骤

        4.运行转换并查看结果

三、总结

        1.准备数据

company_a.csv的数据内容

 数据表company_b的数据内容

company_b创建与插入数据

create table `company_b` (
	`id` int (30),
	`salesArea` varchar (150),
	`brand` varchar (150),
	`model` varchar (150),
	`unitPrice` int (50),
	`number` int (30)
); 
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('1','北京市','华为','华为nova 5 Pro（8GB/128GB/全网通）','2999','31');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('2','山西省','苹果','苹果iPhone 11（4GB/64GB/全网通）','5499','20');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('3','河北省','OPPO','OPPO Reno2（8GB/128GB/全网通）','2999','27');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('4','黑龙江省','华为','华为Mate30（8GB/128GB/全网通/5G版/玻璃版）','4999','34');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('5','陕西省','vivo','vivo iQOO Pro（8GB/128GB/5G全网通）','3798','38');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('6','北京市','vivo','vivo NEX 3（8GB/128GB/全网通）','4998','26');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('7','天津市','苹果','苹果iPhone 11 Pro Max（6GB/64GB/全网通）','9599','18');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('8','重庆市','小米','小米9（8GB/256GB/全网通）','2999','26');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('9','四川省','苹果','苹果iPhone 11 Pro Max（6GB/64GB/全网通）','9599','35');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('10','陕西省','小米','小米9 Pro（8GB/256GB/全网通/5G版）','3799','39');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('11','上海市','华为','华为Mate 20 X（8GB/256GB/全网通/5G版）','6199','42');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('12','北京市','三星','三星Galaxy S10+（8GB RAM/陶瓷版/全网通）','7499','27');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('13','河北省','苹果','苹果iPhone 11（4GB/128GB/全网通）','5999','20');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('14','浙江省','苹果','苹果iPhone 11（4GB/256GB/全网通）','6799','29');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('15','天津市','小米','小米9 Pro（8GB/256GB/全网通/5G版）','3799','35');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('16','上海市','华为','华为Mate30（8GB/128GB/全网通/5G版/玻璃版）','4999','30');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('17','重庆市','苹果','苹果iPhone 11（4GB/64GB/全网通）','5499','38');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('18','山东省','华为','华为Mate30 Pro（8GB/128GB/全网通）','5799','20');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('19','陕西省','小米','小米MIX 3（6GB RAM/全网通）','2299','33');
insert into `company_b` (`id`, `salesArea`, `brand`, `model`, `unitPrice`, `number`) values('20','山西省','华为','华为Mate30 Pro（8GB/256GB/全网通/5G版/玻璃版）','6899','20');

        2.打开kettle工具创建转换

 

        3.配置步骤

配置CSV文件输入控件，双击“CSV文件输入”控件，单击【浏览】按钮，选择要抽取的CSV文件company_a.csv；单击【获取字段】按钮，Kettle自动检索CSV文件获取字段名称，并对文件中字段的类型、格式、长度、精度等属性进行解析。

单击【浏览】按钮，查看文件company_a.csv的数据是否抽取到CSV文件输入流中

 

双击“字段选择”控件，在“选择和修改”选项卡的“字段”处手动添加CSV文件输入控件输出的所有数据字段，也可以单击【获取选择的字段】按钮，Kettle工具自动检索并添加CSV文件输入控件输出的所有数据字段。

 选择“元数据”选项卡，切换到“元数据”选项卡界面。添加需要改变元数据的字段，将“字段选择”流中的字段进行一致性处理，在“Binary to Normal”一列的下拉框中，选择为“是”，使得CSV文件company_a.csv中数据的字段类型与数据表company_b中数据的字段类型一致。

 双击“表输入”控件，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置

 在图中的SQL框中编写查询数据表company_b的SQL语句，然后单击【预览】按钮，查看数据表company_b的数据是否成功从MySQL数据库中抽取到表输入流中

 

 双击“排序合并”控件，在字段框中，指定按字段id进行升序排序。

 双击“增加序列”控件，进入“增加序列”配置界面，在“值的名称”处，指定要增加列的列名，这里使用默认的名称，即valuename，其它配置项不作任何改变；单击【确定】按钮，完成“增加序列”控件的配置。

双击“字段选择2”控件，在“选择和修改”处选择和修改要输出的字段 

双击“表输出”控件，单击目标表右侧的【浏览】按钮，指定输出目标表，即数据表company（该表需提前创建，这里不作演示）；勾选“指定数据库字段”复选框，用于将数据表company的字段与“字段选择2”控件输出流中的字段进行匹配

 

单击“数据库字段”选项卡；再单击【输入字段映射】按钮，弹出“映射匹配”对话框；依次选中“源字段”选项框的字段和“目标字段”选项框对应的字段，再单击【Add】按钮，将一对映射字段添加至“映射”选项框中。

  

        4.运行转换并查看结果

运行创建的转换，实现将两个数据合并到一个数据源

查看数据表company是否已成功插入40条数据 

 

二、不一致数据的转换

        1.准备数据

数据表company中存在同一品牌型号的手机，售价却不同，我们需要通过与供货商提供的标准价格表suppliers进行比较，得出不一致数据，从而进行修改，最终输出到数据表company中

 标准价格表suppliers创建语句

create table `suppliers` (
	`id` int (30),
	`brand` varchar (150),
	`model` varchar (150),
	`unitPrice` varchar (150)
); 
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('1','华为','华为nova 5 Pro（8GB/128GB/全网通）','2999');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('2','三星','三星GALAXY Note 10+（12GB/256GB/全网通/5G版）','7999');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('3','OPPO','OPPO Reno2（8GB/128GB/全网通）','2999');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('4','华为','华为Mate30（8GB/128GB/全网通/5G版/玻璃版）','4999');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('5','OPPO','OPPO Reno 10倍变焦版（8GB/256GB/全网通）','4299');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('6','vivo','vivo NEX 3（8GB/256GB/全网通/5G版）','5698');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('7','vivo','vivo NEX 3（8GB/128GB/全网通）','4998');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('8','vivo','vivo iQOO Pro（8GB/128GB/5G全网通）','3798');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('9','小米','小米9（8GB/256GB/全网通）','2999');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('10','华为','华为Mate 20 X（8GB/256GB/全网通/5G版）','6199');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('11','OPPO','OPPO R17（8GB RAM/全网通）','2499');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('12','苹果','苹果iPhone 11 Pro Max（6GB/64GB/全网通）','9599');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('13','三星','三星Galaxy S10+（8GB RAM/陶瓷版/全网通）','7499');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('14','苹果','苹果iPhone 11（4GB/128GB/全网通）','5999');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('15','苹果','苹果iPhone 11 Pro（6GB/256GB/全网通）','9999');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('16','华为','华为P30 Pro（8GB/128GB/全网通）','4988');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('17','苹果','苹果iPhone 11（4GB/256GB/全网通）','6799');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('18','小米','小米9 Pro（8GB/256GB/全网通/5G版）','3799');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('19','三星','三星GALAXY Note 10（8GB/256GB/全网通）','6599');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('20','苹果','苹果iPhone 11（4GB/64GB/全网通）','5499');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('21','vivo','vivo X27 Pro（8GB RAM/全网通）','3598');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('22','苹果','苹果iPhone 11 Pro（6GB/64GB/全网通）','8699');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('23','华为','华为Mate30 Pro（8GB/128GB/全网通）','5799');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('24','小米','小米MIX 3（6GB RAM/全网通）','2299');
insert into `suppliers` (`id`, `brand`, `model`, `unitPrice`) values('25','华为','华为Mate30 Pro（8GB/256GB/全网通/5G版/玻璃版）','6899');

 

        2.打开kettle工具创建转换

 

        3.配置步骤

双击“表输入”控件，单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。

 在SQL框中编写查询数据表company中品牌型号不一致数据的 SQL语句，然后单击【预览】按钮，查看数据表company中品牌型号不一致数据是否成功从MySQL数据库中抽取到表输入流中

SQL语句如下：

SELECT brand,model FROM company c2 
WHERE c2.id NOT IN 
(SELECT c1.id FROM suppliers s1 
JOIN company c1 ON s1.brand = c1.brand 
AND s1.model = c1.model 
AND s1.unitPrice=c1.unitPrice);

 

 双击“表输入2”控件,在SQL框中编写SQL语句，查询出不一致数据在数据表suppliers中的全部信息；在“从步骤插入数据”的下拉框选择“表输入”步骤；勾选“执行每一行”处的复选框，用于将表输入控件流中的数据放入到SQL语句对应的参数位置，通过条件查询与数据表suppliers中的数据进行匹配

 双击“字段选择”控件，在“选择和修改”选项卡的“字段”处添加表输入2控件流中的所有数据字段，并将字段unitPrice改名成unitPrice1

 选择“移除”选项卡，切换到“移除”选项卡界面，添加需要移除字段，这里添加的是字段id

双击“表输入3”控件,单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮

 

在SQL框中编写查询与标准价格表（供货商提供的价格表）中品牌型号不一致数据的SQL语句，然后单击【预览】按钮，查看数据表company中品牌型号不一致数据是否成功从MySQL数据库中抽取到表输入流中 

sql语句如下：

SELECT id,brand,model,unitPrice FROM company c2 
WHERE c2.id NOT IN 
(SELECT c1.id FROM suppliers s1 
JOIN company c1 ON s1.brand = c1.brand 
AND s1.model = c1.model 
AND s1.unitPrice=c1.unitPrice);

 

双击“记录集连接”控件,在“第一个步骤”处的下拉框中选择“字段选择”控件，“第二个步骤”处的下拉框中选择“表输入3”控件，用于将“字段选择”控件流中的数据与“表输入3”控件流中的数据进行合并连接；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是brand、model，用于将“字段选择”控件流中的字段brand、model与“表输入3”控件流中的字段brand、model进行连接；在“连接类型”处的下拉框选择连接类型，这里选择的RIGHT OUTER，即右外连接 

 双击“字段选择2”控件，进入“选择/改名值”界面，并在“选择和修改”选项卡的字段名称处填写id和unitPrice1，用于在插入/更新控件中，通过唯一字段id修改对应的价格unitPrice1字段内容

双击“插入/更新”控件,单击目标表右侧的【浏览】按钮，弹出“数据库浏览器”窗口，选择目标表company；单击【获取字段】按钮，用来指定查询数据所需要的关键字，也可通过手动输入，指定查询数据所需要的关键字，这里选择的是数据表company中的id字段和输入流里面的id字段；单击【获取和更新字段】按钮，用来指定需要更新的字段

 

 

        4.运行转换并查看结果

查看数据表company是否已成功将数据表company中品牌型号相同、价格不同的数据修改成品牌型号价格均相同的数据

 

 

三、总结

        大数据时代如果想要得到需要的数据，而这些需要的数据有可能来源于多个不同的数据源中，此时，我们可以将多个数据源进行合并操作，从而获取到所需要的数据。不一致数据转换主要是将不同业务系统中的相同类型的数据进行统一，例如同一个供应商在结算系统的编码是XX0001，而在CRM（客户关系管理系统）中编码是YY0001，这样就需要将这两个业务系统中的数据抽取过来进行统一转换，转换成同一个编码。

Kettle9.3
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Excel 2007数据透视表完全剖析 4/7
04-01
2.5　与数据源保持一致　29 2.5.1　对现有数据源已经进行修改　29 2.5.2　数据源的范围已经随着行或者列的增加而扩大　29 2.6　共享数据透视表缓存　30 2.7　利用新的数据透视表工具节约时间　31 2.7.1　推迟布局...
6.1 多数据源合并
qq_46677624的博客
11-22 890
多数据源合并
如何使用常用的6种方式对数据进行转换（二）
weixin_33716557的博客
05-04 249
如何使用常用的6种方式对数据进行转换（二）   实验目标： 1、 使用T-SQL语句对数据进行转换。 2、 使用备份和还原对数据进行转换。 3、 使用分离和附加对数据进行转换。 4、 使用复制对数据进行转换。（重点讲解） 5、 使用SSIS导入和导出向导对数据进行转换。 6、 使用SSIS包设计器对数据进行转换     实验步骤： 注意：下面所有的操作都将对以下表格进行...
kettle实例--数据转换-多数据源合并
fxxhmn的博客
10-25 1362
添加需要改变元数据的字段，将“字段选择”流中的字段进行一致性处理，即单击【获取改变的字段】按钮，获取要改变的字段，并在“Binary to Normal”一列的下拉框中，选择为“是”，使得CSV文件company_a.csv中数据的字段类型与数据表company_b中数据的字段类型一致。双击“增加序列”控件，进入“增加序列”配置界面，在“值的名称”处，指定要增加列的列名，这里使用默认的名称，即valuename，其它配置项不作任何改变；双击“表输出”控件，进入“表输出”控件的配置界面。
数据合并
qq_34830965的博客
04-07 511
数据手拉手 我们经常要从多个渠道获得数据来综合进行分析。例如需要处理几十个甚至更多的数据文件，这需要我们把多个数据源的数据合并在一起。 这里我们需要学习如何利用pandas整合多个DataFrame或者Series中的数据。 数据源介绍 数据源是国家统计局的全国35个主要城市2000年到2017年的理念房价数据。 import pandas as pd df=pd.read_csv('city_h...
多数据源切换(一)
weixin_49604576的博客
03-12 1056
自定义注解**@DS**实现动态数据源切换且支持单体事务，并集成为springboot的starter启动项
Excel 2007数据透视表完全剖析 1/7
04-01
2.5　与数据源保持一致　29 2.5.1　对现有数据源已经进行修改　29 2.5.2　数据源的范围已经随着行或者列的增加而扩大　29 2.6　共享数据透视表缓存　30 2.7　利用新的数据透视表工具节约时间　31 2.7.1　推迟布局...
Excel 2007数据透视表完全剖析 3/7
04-01
2.5　与数据源保持一致　29 2.5.1　对现有数据源已经进行修改　29 2.5.2　数据源的范围已经随着行或者列的增加而扩大　29 2.6　共享数据透视表缓存　30 2.7　利用新的数据透视表工具节约时间　31 2.7.1　推迟布局...
Excel 2007数据透视表完全剖析 5/7
04-01
2.5　与数据源保持一致　29 2.5.1　对现有数据源已经进行修改　29 2.5.2　数据源的范围已经随着行或者列的增加而扩大　29 2.6　共享数据透视表缓存　30 2.7　利用新的数据透视表工具节约时间　31 2.7.1　推迟布局...
数据仓库基础
03-29
数据仓库和数据集市.............................................................................................................44 它们有什么不同？.........................................................
6.1多数据源的合并
m0_68714092的博客
11-15 669
6.1多数据源的合并
数据转换
热门推荐
10-17 1万+
对数据进行转换就是对数据的合并、清理和整合。通过转换，可以实现不同的源数据在语义上的一致性。SAP BI 的转换(Transformation) 定义的就是对数据进行处理的规则。当数据从一个BI 对象加载到另一个BI 对象时，数据是经过转换的。在源对象和目标对象之间创建一个转换，
springBoot入门总结（六）整合多数据源的实现
weixin_41557632的博客
01-31 194
为什么要在项目中整合多数据源？ 在一些中大型的项目中，业务需求复杂，数据分布散乱，项目的可维护性、稳定性、响应速度等时刻都面临着挑战，如何有效的解决这些问题，是我们需要考虑的问题。分布式数据库的读写分离，是一种不错的解决方案，要实现读写分离便离不开多数据源的整合。当然，这只是我们使用多数据源的一种情况。 接下来我们通过讲解 SpringBoot 整合 MyBatis 访问 MySQL 多数据源...
常用的数据转换方法
m0_46698362的博客
08-10 9705
1特征编码     模型输入的特征通常需要是数值型的，所以需要将非数值型特征转换为数值特征，如性别、职业、收入水平、国家、汽车使用品牌等。特征编码包括数字编码、One-Hot编码、哑变量编码方法。 1.1数字编码     一种简单的数字编码方法是从0开始赋予特征的每一个取值一个整数。对于等级型特征，按照特征取值从小到大进行整数编码可以保证编码后的数据保留原有的次序关系。     原特征 收
（多源转化成单源dijsktra）一个人的旅行
花有重开日，人无再少年
08-13 227
虽然草儿是个路痴（就是在杭电待了一年多，居然还会在校园里迷路的人，汗~),但是草儿仍然很喜欢旅行，因为在旅途中 会遇见很多人（白马王子，^0^），很多事，还能丰富自己的阅历，还可以看美丽的风景……草儿想去很多地方，她想要去东京铁塔看夜景，去威尼斯看电影，去阳明山上看海芋，去纽约纯粹看雪景，去巴黎喝咖啡写信，去北京探望孟姜女……眼看寒假就快到了，这么一大段时间，可不能浪费啊，一定要给自己好好的放个假...
Kettle Spoon 解决源数据表与目标数据表不一致问题
pathconquer的博客
06-01 2320
不一致问题可以分为以下几种： 问题1：源数据表比目标数据表多了一些字段（即列） （1）出现的原因： （2）解决方案：
数据仓库ETL
最新发布
weixin_63548495的博客
05-20 749
SQL Server Business Intelligence Development Studio，dim，fact，全量etl，增量etl
父子级分类统计分类下数量sql
pscool的博客
05-19 66
【代码】父子级分类统计分类下数量sql。
小白也会SQL：大模型改变交互方式（中）
鲁班模锤
05-17 745
在人工智能与自然语言处理交汇点，有一种技术正悄然改变与数据交互的方式——将日常语言转化为精准SQL查询。这一“text-to-sql”转换任务，使非专业人士也能轻松驾驭复杂的数据库操作，极大地拓宽了数据应用的边界。
etl 实现数据抽取与转换
04-28
ETL是英文Extract、Transform、Load的缩写，它是数据仓库建设中最基础的环节之一，主要用于数据的抽取、清洗、转换和加载。ETL的实现可以将来自不同数据源的数据进行统一处理和分析。 实现数据抽取与转换的过程通常包括以下步骤： 1. 抽取数据：从不同的数据源中提取需要的数据，如关系型数据库、文件、Web服务、API等。 2. 清洗数据：对抽取的数据进行清洗，如去除重复数据、空数据、数据格式转换、数据合并等，以确保数据的准确性和完整性。 3. 转换数据：对清洗过的数据进行转换操作，如数据结构的转换、数据计算、数据聚合等。 这一步的目的是为了将不同数据源的数据统一到一个数据模式下，方便数据分析和处理。 4. 加载数据：将转换后的数据加载到数据仓库中，如数据集市、数据仓库等，以供后续的分析和应用。 ETL的实现需要依赖一些工具和技术，如数据仓库工具、ETL工具、ETL脚本、SQL等。目前比较流行的ETL工具有Informatica、IBM DataStage、Microsoft SQL Server Integration Services等。使用这些工具可以实现大规模数据的ETL处理和管理，提高数据处理效率和数据质量。 ETL实现数据抽取与转换是数据仓库建设的重要一步，通过ETL的清洗和转换操作，可以将来自不同数据源的数据整合到一个数据模型下，提高数据的一致性和准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值