- 博客(108)
- 收藏
- 关注
原创 Airflow【实践 01】Airflow官网+自测源代码举例(简化安装+官方及自测python代码)
Airflow官网+自测源代码举例(简化安装+官方及自测python代码)
2024-02-27 10:23:36 865
原创 DolphinScheduler【部署 01】分布式可视化工作流任务调度工具DolphinScheduler部署使用实例分享(一篇入门学会使用DolphinScheduler)
分布式可视化工作流任务调度工具DolphinScheduler部署使用实例分享(一篇入门学会使用DolphinScheduler)
2024-01-29 11:04:12 1591 4
原创 Airflow【部署 01】Airflow官网Quick Start实操(一篇学会部署Airflow)
Airflow官网Quick Start实操(一篇学会部署Airflow)
2024-01-29 10:55:22 1042
原创 Zeppelin【实例 01】Generic JDBC Interpreter for Apache Zeppelin(通用JDBC之MySQL解释器使用完整指南)
Generic JDBC Interpreter for Apache Zeppelin(通用JDBC之MySQL解释器使用完整指南)
2023-03-09 18:30:11 624 4
原创 Zeppelin【部署 01】Zeppelin最新版本zeppelin-0.10.1下载安装配置启动及问题处理(一篇学会部署Zeppelin)
Zeppelin最新版本zeppelin-0.10.1下载安装配置启动及问题处理(一篇学会部署Zeppelin)
2023-03-09 16:18:21 1137 4
原创 NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)
2022-11-23 10:46:48 1535
原创 Kettle【实践 08】全国地铁线路信息及线路站点座标数据获取脚本及技巧说明(云资源分享:完整ktr脚本及20221008最新数据SQL)
Kettle实践 全国地铁线路信息及线路站点座标数据获取脚本及技巧说明(云资源分享:完整ktr脚本及20221008最新数据SQL)
2022-10-28 14:16:01 235
原创 Kettle【实践 07】CSV类型文件数据解析及Concat fields使用(云资源分享:ktr脚本+csv测试文件)
Kettle【实践 07】CSV类型文件数据解析及Concat fields使用(云资源分享:ktr脚本+csv测试文件)
2022-08-09 18:40:07 479 12
原创 Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决
Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决
2022-08-08 17:48:42 6101 4
原创 Kettle【实践 06】使用 HTTP client 获取 GPC 全球商品分类代码 JSON 数据处理入库全流程(云资源分享:ktr+数据.sql)
Kettle【实践 06】使用 HTTP client 获取 GPC 全球商品分类代码 JSON 数据处理入库全流程(云资源分享:ktr+数据.sql)
2022-08-06 09:53:50 858
原创 我的创作纪念日
进入新行业了,公司不让用自己的电脑进行办公,也不能带自己的设备,之前记录的笔记查看不太方便,所以想着弄个博客,也尝试过云笔记,最终还是选择了博客。整理笔记需要花费不少时间,但是在整理的过程中也加深了对知识的理解,跟小伙伴们交流也是收获满满。...
2022-07-27 08:17:36 112 3
转载 Pinpoint【环境搭建 02】Pinpoint Agent 安装启动及监控 SpringBoot 项目案例分享
Pinpoint Agent 安装启动及监控 SpringBoot 项目案例分享
2022-03-25 10:54:29 1240 8
转载 Pinpoint【环境搭建 01】JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)
JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)
2022-03-25 10:52:53 537 2
原创 Kettle【部署 02】Linux环境 Kettle pdi-ce-9.0.0.0-423 安装部署 carte 服务运行及 Java 集群调用实例(安装包1.85G+测试ktr\kjb\源码)
Linux环境 Kettle pdi-ce-9.0.0.0-423 安装部署 carte 服务运行及 Java 集群调用实例(安装包1.85G+测试ktr\kjb\源码)
2022-03-11 14:10:32 3425 12
原创 Kettle【实践 05】Kettle处理JSON格式数据的4种方法及适用场景和优劣分析(云资源分享:json数据+ktr)
Kettle处理JSON格式数据的4种方法及适用场景和优劣分析(云资源分享:json数据+ktr)
2022-03-08 17:34:13 1983 16
原创 Kettle【实践 04】Java环境实现KJB和KTR脚本文件执行v9版本9.0.0.0-423相关依赖说明(云资源分享:依赖包+kjb+ktr+测试源码)
Java环境实现KJB和KTR脚本文件执行v9版本9.0.0.0-423相关依赖说明(云资源分享:依赖包+kjb+ktr+测试源码)
2022-03-02 16:52:33 2428 26
原创 Kettle【实践 03】水经微图kml类型文件分类解析入库难点细节说明(完整流程实例云资源分享:包含sql+kjb+ktr+测试文件)
水经微图kml类型文件分类解析入库难点细节说明(完整流程实例云资源分享:包含sql+kjb+ktr+测试文件)
2022-03-02 09:29:38 729 27
原创 Kettle【实践 02】txt类型文件分类导入后执行SQL进行数据类型转换并入库(完整流程实例云资源分享:包含sql+kjb+ktr+测试文件)
txt类型文件分类导入后执行SQL进行数据类型转换并入库(完整流程实例云资源分享:包含sql+kjb+ktr+测试文件)
2022-02-25 16:37:04 1297 14
转载 InfluxData【环境搭建 02】时序数据库客户端 InfluxCLI 最新版本安装启动验证
使用 InfluxCLI 与您的 InfluxDB 实例交互和管理。写入和查询数据,生成InfluxDB模板,导出数据,等等。、BigQuery 等数据源的集成。
2022-02-18 08:00:00 488 5
转载 InfluxData【环境搭建 01】时序数据库 InfluxDB 最新版本安装启动验证
InfluxDB 是一个开源的时间序列数据库。它在一个二进制文件中拥有你需要的时间序列平台的一切——多租户的时间序列数据库、UI和仪表板工具、后台处理和监控代理。所有这些都使得部署和设置变得轻而易举,而且更容易保护。InfluxDB 平台还包括APIs、工具和一个生态系统,其中包括10个客户端和服务器库、Telegraf 插件、与Grafana、谷歌 Data Studio 的可视化集成,以及与谷歌 Bigtable、BigQuery 等数据源的集成。
2022-02-17 08:18:01 386 4
原创 Kafka【付诸实践 04】Java实现筛选查询Kafka符合条件的最新数据(保证数据最新+修改map对象key的方法+获取指定数量的记录 源码分享粘贴可用)
Java实现查询Kafka符合条件的最新数据(保证数据最新+修改map对象key的方法+获取指定数量的记录 源码分享粘贴可用)
2022-01-12 16:20:05 2395 4
原创 Kafka【问题记录 01】kill -9 导致 Kakfa 重启失败问题处理(doesn‘t match stored clusterId xxx in meta.properties)
The Cluster ID xxx doesn't match stored clusterId Some(yyy) in meta.properties 报错问题处理。
2022-01-10 10:13:54 800
原创 Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试(一篇学会使用 Offset Explorer)
一篇学会使用 Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试
2021-12-24 16:50:19 7119 9
原创 Kafka【付诸实践 02】消费者和消费者群组+创建消费者实例+提交偏移量(自动、手动)+监听分区再平衡+独立的消费者+消费者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka消费者】
消费者和消费者群组+创建消费者实例+提交偏移量(自动、手动)+监听分区再平衡+独立的消费者+消费者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka消费者】
2021-12-21 14:41:52 504 2
原创 Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】
生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)
2021-12-21 11:57:20 1155 2
原创 Presto【付诸实践 01】Presto查询性能优化(数据存储+SQL优化+无缝替换Hive表+注意事项)及9个实践问题分享
Presto查询性能优化(数据存储+SQL优化+无缝替换Hive表+注意事项)及9个实践问题分享
2021-12-14 17:22:46 3488 4
原创 Presto【基础知识 01】简介+架构+数据源+数据模型+特点(一篇即可入门支持到PB字节的分布式SQL查询引擎Presto)
1. WHATPresto 是一个 facebook 开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。它的架构由关系型数据库的架构演化而来。它能在各个内存计算型数据库中脱颖而出,在于以下几点:清晰的架构,是一个能够独立运行的系统,不依赖于任何其他外部系统。例如调度,Presto 自身提供了对集群的监控,可以根据监控信息完成调度。简单的数据结构,列式存储,逻辑行,大部分数据都可以轻易的转化成 Presto 所需要的这种数据结构。丰富的插件接口,完美对接外部存储系统,或者添
2021-12-09 15:50:03 527 2
原创 Presto【环境搭建 01】Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证(详细配置说明+Yanagishima已编译文件分享)
Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证(详细配置说明+Yanagishima已编译文件分享)
2021-12-07 16:32:26 2108 8
原创 Kettle【实践 01】Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理(完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源)
Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理(完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源)
2021-11-26 17:46:26 2400 20
原创 Superset【实践 02】Druid数据库+Superset可视化(Druid数据源配置+图表添加+仪表盘添加)详细使用举例
Superset【实践 02】Druid数据库+Superset可视化(Druid数据源配置+图表添加+仪表盘添加)详细使用举例 20220429更新
2021-11-11 14:36:14 1836 10
原创 Druid【部署 01】最新版本的(安装+启动服务+打开控制台+本地文件数据载入+数据查询)及(小内存服务器启动JVM参数调整)一次学会使用Druid的完整流程(已完成)
Druid【部署 01】最新版本的(安装+启动服务+打开控制台+本地文件数据载入+数据查询)及(小内存服务器启动JVM参数调整)一次学会使用Druid的完整流程(已完成)20220429更新
2021-11-09 18:10:06 2263 6
原创 Druid【基础 01】是什么+主要特点+设计原则+架构+数据结构(简单入门Druid)
Druid【基础 01】是什么+主要特点+设计原则+架构+数据结构(简单入门Druid)20220429更新
2021-11-09 15:25:34 4649 2
原创 Hive【基础知识 05】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
1.Database-- 1.1 查看数据库列表SHOW databases;-- 1.2 使用数据库USE database_name;-- 1.3 新建数据库-- 语法:CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCHEMA 是等价的[COMMENT database_comment] --数据库注释[LOCATION hdfs_path] --存储在 HDFS 上的位置[WITH DBP
2021-10-27 10:15:31 285 4
原创 Grafana【环境搭建 01】CentOS release 7.5 可视化工具 Grafana 8.2.0 专业版安装配置及使用(SHA256完整性验证+Greenplum数据源添加+仪表盘测试)
1. Why最近参与的数据中台项目,需要直观展示接入数据的情况,项目使用了传统的 Oracle 和 MySQL 数据库,也是用了分布式数据库 Greenplum 和时序数据库 Influxdb,想要同时展示这些类型的数据源,可以自己写查询语句和前端,当然也可以借助可视化工具,Grafana 就同时支持以上数据源。官网对 Grafana 的简单介绍:Dashboard anything. Observe everything.Query, visualize, alert on, and unde
2021-10-08 17:48:52 662 10
原创 Superset【问题 01】Superset连接MySQL数据库报错(Unexpected error occurred, pleace check you logs for details)
Superset【问题 01】Superset连接MySQL数据库报错(Unexpected error occurred, pleace check you logs for details)
2021-09-30 09:59:46 4291 12
原创 Superset【实践 01】数据可视化图表工具 Superset(Greenplum数据库连接举例+MySQL数据集+图表添加配置+仪表盘添加与设置)一文学会使用Superset
Superset【实践 01】数据可视化图表工具 Superset(Greenplum数据库连接举例+MySQL数据集+图表添加配置+仪表盘添加与设置)一文学会使用Superset 20220429更新
2021-09-29 17:58:42 1695 4
原创 Superset【部署 01】在线安装数据可视化图表工具 Superset(Python虚拟环境部署+问题解决+WEB登录配置+官方图表展示)
Superset【部署 01】在线安装数据可视化图表工具 Superset(Python虚拟环境部署+问题解决+WEB登录配置+官方图表展示)20220429更新
2021-09-28 17:51:52 1471 5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人