- 博客(836)
- 收藏
- 关注
RSS订阅
原创 Excel中截取中文地址转换为省、市、区
解压后进行安装，打开OFFIE中的EXCEL，可以发现新新添加一个DIY工具箱，其中的提取地址功能可以将字符串地址解析为省、市、区。首先我们在网页打上方方格子，进入官网，下载方方格子。
2024-11-11 15:32:22
990
转载 【ORACLE】Oracle提高篇之WITH AS
WITH AS 短语，也叫做子查询部分（subquery factoring），可以定义一个sql片断，该片断会被整个sql语句所用到，特别对于UNION ALL比较有用。因为UNION ALL 的每个部分可能相同，但是如果每个部分都去执行一遍的话，成本太高，所以可以使用WITH AS语句，只需要执行一遍即可。如果with as 短语定义的表名被调用两次以上，则优化器会自动把with as 短语所获取的数据放入临时表中，如果只是被调用一次，则不会。同上，删除的时候也不能把with as 放在前面。
2025-12-15 10:43:47
14
原创 外部权限表实现数据权限过滤
例如：北京分公司的人只能看到北京的数据，上海分公司的人只能看到上海的数据。引入外部权限表，直接在数据库查询语句中实现数据权限的过滤。同一张报表，不同的用户登录，看到的数据不同。
2025-11-27 13:52:32
36
原创 通过条件属性和模版web属性实现列和控件权限
1.若要设置模板（.cpt） 中某数据列的可见性权限，之前已经阐述过，可以通过单元格的条件属性和权限细粒度参数来实现。2.希望销售部在筛选条件中不能看到区的下拉选，可以在模板中写JS实现。例如：希望销售部所在员工登录后，对于区这一列，不可见。这样销售在登录后，就不可见这个区和下拉选了。此处js脚本的元素选择器可以通过前端查看。
2025-11-25 09:21:47
30
原创 JS通过判断用户/部门/角色控制模板组件查看权限
此处有一点需要注意：因为该次测试目前只有一个用户有角色，为了避免其余用户角色为空，而导致的js异常，故此处对登录用户角色做了判断，并对没有角色的用户赋予了一个初始角色。数据决策系统中，不同用户/职务/角色查看同一张 FVS可视化看板，需要指定部分组件不可见，看到的内容不相同，可通过 JS 来实现。此处显示组件的逻辑为：凡是销售部下面的用户 + 角色为【普通角色1】 + 用户名为【Alice】的用户登录后，课件该TABLE。Lily属于 人力资源-部长，登录后，不可见该组件。例如：Alice登录后可见。
2025-11-21 09:28:49
28
原创 FineReport 操作注意(四)
FineReport 内置的地图，在使用「区域地图」时，若设置显示「区域名」标签，其显示的位置默认是按照每个省份的省会城市来显示的。2）在地图配置界面的「地理信息」，选择「区域」，再选中 world 下的「中国」，右侧配置界面会出现高亮的中国区域地图。4）将复制的坐标粘贴到地图配置中区域的「中心点」，并保存该点，再点击「右上角」的保存，最后「同步地理文件」。区域地图显示标签的位置是由「地图配置」中区域的中心点决定的，直接修改中心点的经纬度，就可以改变标签显示的位置了。一、区域地图显示名称居中。
2025-09-26 13:21:16
83
原创 kettle 8.2 ETL项目【四、加载数据】
一、dim_store表结构，数据来源于业务表，且随时间会有增加，属于缓慢变化维(SCD)类型二。
2025-08-12 15:17:22
175
原创 kettle 8.2 ETL项目【三、加载数据】
一、dim_staff表结构，数据来源于业务表，且随时间会有增加，属于缓慢变化维(SCD)类型二。
2025-07-25 14:11:33
231
原创 kettle 8.2 ETL项目【二、加载数据】
属于静态维度类型：通过数据集进行初始化并且不需要定期从sakila数据库进行加载。转换数据：增加序列、javascript脚本等。
2025-07-24 15:27:41
144
转载 MySQL分组查询-取最晚提交的数据
最近工作上遇到一个sql查询语句，感觉挺有用的，在这里记录一下。在工作日报中，员工通常会填写姓名，工作日期，拜访对象名称，拜访开始结束时间，提交时间等等字段。但是发现员工在一天会提交多次工作日报，且submittime不唯一。为了避免数据冗余，我们取数的时候就只取当天最晚提交的数据。
2025-07-24 08:55:54
128
原创 kettle 8.2 ETL项目【一、初始化数据库及介绍】
Sakila是在线DVD租赁商店系统的数据库，Sakila示例数据库最初由MySQL AB文档团队的前成员Mike Hillyer开发，现在由MySQL文档团队维护和销售。Sakila的主要目的是支撑DVD租赁商店的业务流程，下面列举了一些业务流程活动中的关键点来理解数据库是如何支撑的。客户可以在任何一家商店租赁一张或多张光盘，同时，商店希望客户在每张光盘对应的租赁期内归还之前租赁的光盘。每个商店维护自己的租赁影片清单，当客户取走或归还DVD光盘时会有一个专门的店员对这个清单进行维护。
2025-07-23 16:22:04
133
原创 Kettle数据抽取（十四）在作业中设置变量
另外一种是直接在后面的转换中，调用，注意参数写法，不再使用？这样可以简化变量的获取。在作业中设置的变量，如何使用，可以有两种方式，首先在作业中设置好需要调用的变量。变量可以在转换中设置，也可以在作业中设置。，然后在后面的转换中获取该变量，并使用。
2025-07-23 10:14:49
452
原创 Kettle数据抽取（十三）设置变量、获取变量
原因：转换中的所有步骤都是并行运行的，没有特定的执行顺序。也就是说，设置的变量在当前转换里是不起作用的。解决方法：是在job里将设置变量作为一个前置的转换，然后将引用该变量的转换作为后置转换。不能在当前转换中立即使用，需要在作业的下一个步骤中使用。里面由一个作业分类，里面有。
2025-07-23 09:45:11
1325
原创 Kettle数据抽取（十二）参数、常量
在安装目录下，找到kettle.properties文件。一般位于C盘用户下面，在里面可以设置全局变量，重启Spoon后生效。以下调用的参数可以使用%%变量名%%或者${变量名} 这两种写法均可。在Kettle中可以查看这两个参数是否添加成功。以下通过一个分页查询来测试全局变量的使用。相当于分页查询，第一页，每页显示4条。此处添加了两个参数。
2025-07-22 15:22:52
279
原创 Kettle数据抽取（javascript）
javascript中年月必须要特殊处理，Year + 1900 等。此处移除原始字段date，因为后续将使用新字段new_date。转换:增加序列、计算器、字段选择。脚本:JavaScript代码。输出:Excel输出。导出的excel如下。
2025-07-21 16:48:19
184
原创 Kettle调用接口实战（通过经纬度获取省市区）
通过经纬度作为入参，调用高德地图接口，解析获得省市区。通过经纬度作为入参，调用高德地图接口，解析获得省市区。adcode 行政区编码 例如：110108。city 市。district 区。province 省。
2025-07-19 13:46:37
163
原创 高德地图接口调用
官方链接：https://lbs.amap.com/api/webservice/guide/api/georegeo/部分返回值当返回值存在时，将以字符串类型返回；当返回值不存在时，则以数组类型返回。响应结果的格式可以通过请求参数 output 指定，默认为 JSON 形式。案例如下：在浏览器端输入。
2025-07-17 14:03:12
259
原创 FineReport三大报表分类
支持明细报表、分组报表、交叉报表等基础表样，同时提供灵活的公式运算功能，如同比、环比、排名、占比等，以满足企业对多样化数据展现的需求。主子报表：单表式主子报表一般数据集会有两个以上，分别是主表的数据集和子表的数据集，在展现上，一般要求主表以自由格式展现，子表以列表格式展现，为一对多的关系，子报表可能同时存在多个。随着企业对数据应用的重视不断增加，数据可视化成为关注焦点，特别是在面向企业领导层的数据展示中，需要将多类信息综合汇总并集中展示在一个报表中，这就是所谓的管理驾驶舱。专门针对解决大型报表难题设计；
2025-07-11 09:12:02
100
原创 Kettle数据抽取（十一）作业-邮件
2）当运行结果为真时执行：当上一个作业项的执行结果为真时，执行下一个作业项。这是一种绿色的连接线，上面有一个对钩号的图标。作业的跳是作业项之间的连接线，它定义了作业的执行路径。作业里每个作业项的不同运行结果决定了做作业的不同执行路径。3）当运行结果为假时执行：当上一个作业项的执行结果为假或者没有成功执行时，执行下一个作业项。这是一种红色的线，上面有一个红色停止图标。1）无条件执行：不论上一个作业项是否执行成功或失败，下一个作业项都会执行。这是一种蓝色的连接线，上面有一个锁的图标。
2025-07-03 15:42:43
133
原创 Kettle数据抽取（十）分组、脚本控件
分组控件的功能类似于Group By，可以按照一个或者几个字段进行分组，然后其余字段都可以按照聚合函数进行合并计算。注意，在分组之前，数据最好先进行排序（按照分组字段排序）。给其余字段选择合适的聚合函数进行计算。
2025-07-02 14:54:18
251
原创 Kettle数据抽取（九）查询、连接控件
左连接的意思就是数据流原本的数据全部都有（表输入），但是数据库查询控件查询出来的数据不一定全部会列出来，只能按照输入匹配的条件来进行关联。数据库查询是从数据库中查询出数据，然后跟数据流中的数据进行左连接的一个过程。（类似于left join 其中表输入为主表）查询是转换里面的第九个分类，查询控件是用来查询数据源里面的数据，并合并到主数据流当中。4.获取返回字段（相同字段可删除一个），得到查询返回的值。3.输入两个表进行左连接的条件。1.选择合适的数据库连接。2.输入要查询的表名。
2025-07-01 10:19:46
326
原创 Kettle数据抽取（八）流程控件
Switch/case控件，最典型的数据分类控件，可以利用某一个字段的数据的不同的值，让数据流从一路到多路。3.填写分类数据的判断条件和目标步骤。2.选择判断字段的值的类型。1.选择需要判断的字段。
2025-06-27 10:04:32
249
原创 Kettle数据抽取（七）应用控件
替换NULL值，顾名思义就是将数据里面的null值替换成其他值，此控件比较简单，但是在企业里面也会经常用到。2.也可以选择字段，在下面的字段框里，根据不同字段，将null值替换成不同的值。1.可以选择替换数据流中所有字段的null值。
2025-06-26 15:39:41
75
原创 Kettle数据抽取（六）转换控件
利用excel输入控件读取input目录下的06_去除重复记录.xlsx，然后对里面重复的数据进行按照id排序并去重。，排序记录控件可以按照指定的字段升序或降序对数据进行排序。因此排序记录+去除重复记录控件常常会组合使用。去除重复记录是去除数据流里面相同的数据行。但是此控件使用之前要求必须先对数据进行。，对数据排序用的控件是。
2025-06-25 16:22:53
93
原创 Kettle数据抽取（五）转换控件
转换控件是用来转换数据。转换是ETL里面的（Transform），主要做数据转换，数据清洗的工作。ETL整个过程中，Transform的工作量最大，耗费时间也比较久，大概可以占到整个ETL的三分之二。由于Kettle中自带的转换控件比较多，本文只挑选出开发中经常使用的几个转换控件来进行讲解。
2025-06-21 15:43:04
221
原创 Kettle数据抽取（四）
更新和插入/更新，这两个控件是kettle提供的将数据库已经存在的记录（目标）和数据流（来源）的记录进行对比的控件。本章节任务：手动修改下student表的数据（修改和新增），然后用修改后的数据和student2来进行比较，分别尝试更新和插入/更新控件的区别。是将数据库中的数据和数据流中的数据做对比，如果不同就更新，如果数据流的数据比数据库中的数据多，那么就报错。：我们一般用主键进行对比，如果主键不能一一对应，比如student表的id是1。的功能和更新一样，只不过优化了数据不存在就插入的功能，
2025-06-21 14:25:46
237
原创 Kettle数据抽取（三）
在做ETL的时候，连接MySQL读取含有timestamp类型的表，会报错，在连接上添加如下信息，问题就能解决。解决：在jdbc连接时添加时区 serverTimezone Asia/Shanghai。kettle 调度时出现时区问题，导致数据调出加了8小时。问题：调度时 ，调度时间增加了8个小时，导致数据不准确。原因：因为mysql 有时区问题，差了8小时。方案：以表kx_kq_store 表为例。二、关于增量同步的问题。
2025-06-19 14:19:34
265
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人