基于webSpoon的数据采集器

1. 项目介绍

dataCollection项目在kettle基础开发的可视化任务调度系统,提供简单易用的操作界面,降低用户使用crontab调度的学习成本,缩短任务配置时间,避免配置过程中出错。系统对接webSpoon,支持在线编辑kettle脚本,通过数据整合功能,可同步资源库中已有的脚本,用户在创建完脚本之后,可通过系统任务管理,创建数据同步任务。

2. 特性

1、在线编辑kettle脚本,webSpoon download 提取码: cffa
2、资源库管理,避免脚本本地存储,版本错乱、丢失等问题;
3、通过Web构建kettle采集任务;
4、在线查看kettle执行结果及日志,便于排查采集问题;
5、任务告警,系统支持邮件告警,所有异常信息即使掌握;

3. 部署WEB端kettle

1)将webSpoon.zip压缩包上传到linux根目录

image-20221227170242484

2)创建spoon文件夹

mkdir spoon

3)将webSpoon.zip解压到spoon文件夹下

mv webSpoon.zip spoon

cd spoon

unzip webSpoon.zip

解压完成后查看目录

image-20221227170738451

4)启动kettle web端

cd bin/

./startup.sh

注意:

​ ./startup.sh后如果提示权限不够, 需要修改权限:

chmod -R 777 /spoon

./startup.sh

出现这个界面则启动成功

image-20221227171011273

5)在windows上访问kettle

在浏览器上输入: http://ip:8080/spoon/spoon (ip为linux的ip地址)

image-20221227171156127

4. 部署数据采集平台

V0.0.7 版本包下载

4.1 安装jdk1.8

自己安装,这里就不介绍了···

4.2 MySQL配置

1)下载部署包(自己编译也行),上传到/java 目录下

image-20221227172341999

2)创建数据库data_collection

image-20221227172150579

3)执行SQL文件

image-20221227172531643

  • 导入dataCollection平台数据库(./sql/mysql/data_collection_20220417_130951.sql)
  • 导入数据库资源库脚本(./sql/mysql/kettle_rep_20220417_130548.sql)

4)解决Linux中MySQL表名区别大小写的问题

  • 切到MySQL配置文件挂载的目录
cd /mysql/conf/
  • 编辑 my.cnf 配置文件
vim my.cnf

在 [mysqld] 下面添加: lower_case_table_names=1

即可忽略表名大小写

image-20221227173208059

4.3 修改源码配置

1)修改kettle配置文件

编辑 application-kettle.yml

kettle:
  log-file-path: /apps/logs/${spring.application.name}/run-logs
  encoding: utf-8
  upload-path: /apps/var/kettle-script-file
  kettle-home: /apps/var/file-rep
  kettlePluginPackages: /home/ali/data/plugins  

2)上传kettle插件

将kettle插件包plugins上传到 /home/ali/data/

image-20221227173345687

3)配置webSpoon

在 application.yml配置文件中配置 kettle的url:

spoon:
  url: 172.30.106.54:8080/spoon/spoon

4)配置数据源

application-mysql.yml

spring:
  datasource: # 数据库链接
    url: jdbc:mysql://172.30.106.54:3306/data_collection?useUnicode=true&characterEncoding=utf8&useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=GMT%2B8
    username: root
    password: root  #数据库名、用户名和密码改为自己的
    driver-class-name: org.gjt.mm.mysql.Driver

5)运行jar包

image-20221227173916668

java -jar dataCollection-0.0.7-SNAPSHOT.jar

image-20221227174623537

访问: http://172.30.106.54:7080/ 出现以下界面 , 启动成功

image-20221227174643390

5. 数据采集平台使用说明

5.1 启动和登录

  • 启动

根据以上步骤进行启动 kettle数据采集平台

  • 登录

默认账号密码都为 admin

5.2 首页

首页为任务的监控界面

image-20221228102846724

5.3 资源管理库

1)资源库列表

可以查看已经连接过的资源库列表

img

2)新增资源库

点击新增库资源库

img

点击保存, 新建完成, 即可在列表中查看到刚才新建的数据库资源库

img

5.4 数据整合

1)资源库列表

image-20221228105303837

2)新增一个脚本

image-20221228105429622

点击 保存, 会跳转到kettle web端界面

如果是新建的数据库资源库, 第一次新增脚本时需要在kettle界面连接该数据库资源库, 后续添加脚本则不需要

步骤:

(1) 点击右上角的 Connect 选择 Repository Manager

img

(2) 点击 Add 即: 新增资源库

img

(3) 点击 Other Repositories

img

(4) 选择 Database Repository, 然后点击 Get Started

img

(5) 设置资源库名称 (资源库名称需要和新增资源库时设置的名称保持一致)

img

(6) 设置 资源库连接, 点击New

img

(7) 连接名称(自定义); 连接类型, 连接方式 , ip, 数据库名 端口号 用户名 密码 需要和新增资源库时保持一致, 然后点击测试

img

(8) 点击back返回后, 点击 Finish完成

(9) 返回数据采集平台, 选择脚本,点击编辑, 即可编写脚本

img

img

5.5 编写脚本

  • (1) 选择表输入Excel输出, 并使用 shift + 鼠标左键 建立连接

image-20221228110431367

(2) 编辑表输入, 新建数据库连接, 选择要操作的数据库和表

img

image-20221228110551185

(3)点击预览, 显示如下, 表输入设置成功,点击确定

image-20221228110735136

(4) 设置Excel输出

设置生成文件的路径: /opt/data/

image-20221228111009934

获取字段

image-20221228111112114

ctrl + s 进行保存

5.6 定时策略

可以设置任务定时执行的策略, 即: 多长时间执行一次

image-20221228111529371

5.7 任务管理

  • 任务分类

可以自定义任务分类

image-20221228111834571

  • 采集管理

(1) 新增转换

image-20221228112035856

(2) 启动转换

image-20221228112055998

(3) 生成文件

5.8 监控管理

可以查看任务的执行记录和执行状态

image-20221228113707280

5.9 用户管理

image-20221228113756749

  • 2
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
基于LabVIEW的数据采集系统设计是一种常见的方法,LabVIEW是一款图形化编程环境,可以用于快速开发各种数据采集和控制系统。下面是一个基本的LabVIEW数据采集系统设计的步骤: 1. 确定需求:首先需要明确你的数据采集系统的具体需求,包括采集的信号类型、采样率、数据处理和存储等方面。 2. 硬件选择:根据需求选择合适的硬件设备,如数据采集卡、传感、信号调理模块等。LabVIEW支持多种硬件设备的接口,可以根据需求选择合适的设备。 3. 创建VI:在LabVIEW中创建一个新的VI(Virtual Instrument),VI是LabVIEW中的基本程序单元。通过拖拽和连接不同的函数模块,可以实现数据采集、处理和显示等功能。 4. 配置数据采集:使用LabVIEW提供的函数模块配置数据采集参数,如采样率、采集通道数、输入范围等。可以根据需要设置触发方式和触发条件。 5. 数据处理:根据需求对采集到的数据进行处理,如滤波、去噪、计算等。LabVIEW提供了丰富的信号处理函数模块,可以方便地实现各种算法。 6. 数据显示和存储:使用LabVIEW的图形化界面设计功能,可以创建用户友好的数据显示界面,如波形图、曲线图、表格等。同时,可以选择将数据存储到文件或数据库中,以便后续分析和处理。 7. 调试和测试:完成系统设计后,进行调试和测试,确保系统能够正常工作。LabVIEW提供了强大的调试工具和模拟功能,可以帮助你快速定位和解决问题。 8. 部署和应用:完成系统测试后,可以将LabVIEW程序部署到目标计算机上运行。LabVIEW支持多种平台,包括Windows、Linux和嵌入式系统等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值