自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

シ風

大数据自学历程,一步一个脚印!

  • 博客(108)
  • 收藏
  • 关注

原创 AI【基础 01】神经网络基础知识(不断进行补充整理)

神经网络基础知识(不断进行补充整理)

2024-02-27 10:24:54 692

原创 Airflow【实践 01】Airflow官网+自测源代码举例(简化安装+官方及自测python代码)

Airflow官网+自测源代码举例(简化安装+官方及自测python代码)

2024-02-27 10:23:36 865

原创 DolphinScheduler【部署 01】分布式可视化工作流任务调度工具DolphinScheduler部署使用实例分享(一篇入门学会使用DolphinScheduler)

分布式可视化工作流任务调度工具DolphinScheduler部署使用实例分享(一篇入门学会使用DolphinScheduler)

2024-01-29 11:04:12 1591 4

原创 Airflow【部署 01】Airflow官网Quick Start实操(一篇学会部署Airflow)

Airflow官网Quick Start实操(一篇学会部署Airflow)

2024-01-29 10:55:22 1042

原创 Zeppelin【实例 01】Generic JDBC Interpreter for Apache Zeppelin(通用JDBC之MySQL解释器使用完整指南)

Generic JDBC Interpreter for Apache Zeppelin(通用JDBC之MySQL解释器使用完整指南)

2023-03-09 18:30:11 624 4

原创 Zeppelin【部署 01】Zeppelin最新版本zeppelin-0.10.1下载安装配置启动及问题处理(一篇学会部署Zeppelin)

Zeppelin最新版本zeppelin-0.10.1下载安装配置启动及问题处理(一篇学会部署Zeppelin)

2023-03-09 16:18:21 1137 4

原创 NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)

NiFi最新版本1.18.0下载安装配置启动及问题处理(一篇学会部署NiFi)

2022-11-23 10:46:48 1535

原创 Kettle【实践 08】全国地铁线路信息及线路站点座标数据获取脚本及技巧说明(云资源分享:完整ktr脚本及20221008最新数据SQL)

Kettle实践 全国地铁线路信息及线路站点座标数据获取脚本及技巧说明(云资源分享:完整ktr脚本及20221008最新数据SQL)

2022-10-28 14:16:01 235

原创 Kettle【实践 07】CSV类型文件数据解析及Concat fields使用(云资源分享:ktr脚本+csv测试文件)

Kettle【实践 07】CSV类型文件数据解析及Concat fields使用(云资源分享:ktr脚本+csv测试文件)

2022-08-09 18:40:07 479 12

原创 Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决

Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决

2022-08-08 17:48:42 6101 4

原创 Kettle【实践 06】使用 HTTP client 获取 GPC 全球商品分类代码 JSON 数据处理入库全流程(云资源分享:ktr+数据.sql)

Kettle【实践 06】使用 HTTP client 获取 GPC 全球商品分类代码 JSON 数据处理入库全流程(云资源分享:ktr+数据.sql)

2022-08-06 09:53:50 858

原创 我的创作纪念日

进入新行业了,公司不让用自己的电脑进行办公,也不能带自己的设备,之前记录的笔记查看不太方便,所以想着弄个博客,也尝试过云笔记,最终还是选择了博客。整理笔记需要花费不少时间,但是在整理的过程中也加深了对知识的理解,跟小伙伴们交流也是收获满满。...

2022-07-27 08:17:36 112 3

原创 Kafka【部署 03】Zookeeper与Kafka自动部署脚本

Zookeeper与Kafka自动部署脚本

2022-05-01 16:47:44 1337 6

转载 Pinpoint【环境搭建 02】Pinpoint Agent 安装启动及监控 SpringBoot 项目案例分享

Pinpoint Agent 安装启动及监控 SpringBoot 项目案例分享

2022-03-25 10:54:29 1240 8

转载 Pinpoint【环境搭建 01】JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)

JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)

2022-03-25 10:52:53 537 2

原创 Kettle【部署 02】Linux环境 Kettle pdi-ce-9.0.0.0-423 安装部署 carte 服务运行及 Java 集群调用实例(安装包1.85G+测试ktr\kjb\源码)

Linux环境 Kettle pdi-ce-9.0.0.0-423 安装部署 carte 服务运行及 Java 集群调用实例(安装包1.85G+测试ktr\kjb\源码)

2022-03-11 14:10:32 3425 12

原创 Kettle【实践 05】Kettle处理JSON格式数据的4种方法及适用场景和优劣分析(云资源分享:json数据+ktr)

Kettle处理JSON格式数据的4种方法及适用场景和优劣分析(云资源分享:json数据+ktr)

2022-03-08 17:34:13 1983 16

原创 Kettle【实践 04】Java环境实现KJB和KTR脚本文件执行v9版本9.0.0.0-423相关依赖说明(云资源分享:依赖包+kjb+ktr+测试源码)

Java环境实现KJB和KTR脚本文件执行v9版本9.0.0.0-423相关依赖说明(云资源分享:依赖包+kjb+ktr+测试源码)

2022-03-02 16:52:33 2428 26

原创 Kettle【实践 03】水经微图kml类型文件分类解析入库难点细节说明(完整流程实例云资源分享:包含sql+kjb+ktr+测试文件)

水经微图kml类型文件分类解析入库难点细节说明(完整流程实例云资源分享:包含sql+kjb+ktr+测试文件)

2022-03-02 09:29:38 729 27

原创 Kettle【实践 02】txt类型文件分类导入后执行SQL进行数据类型转换并入库(完整流程实例云资源分享:包含sql+kjb+ktr+测试文件)

txt类型文件分类导入后执行SQL进行数据类型转换并入库(完整流程实例云资源分享:包含sql+kjb+ktr+测试文件)

2022-02-25 16:37:04 1297 14

转载 InfluxData【环境搭建 02】时序数据库客户端 InfluxCLI 最新版本安装启动验证

使用 InfluxCLI 与您的 InfluxDB 实例交互和管理。写入和查询数据,生成InfluxDB模板,导出数据,等等。、BigQuery 等数据源的集成。

2022-02-18 08:00:00 488 5

转载 InfluxData【环境搭建 01】时序数据库 InfluxDB 最新版本安装启动验证

InfluxDB 是一个开源的时间序列数据库。它在一个二进制文件中拥有你需要的时间序列平台的一切——多租户的时间序列数据库、UI和仪表板工具、后台处理和监控代理。所有这些都使得部署和设置变得轻而易举,而且更容易保护。InfluxDB 平台还包括APIs、工具和一个生态系统,其中包括10个客户端和服务器库、Telegraf 插件、与Grafana、谷歌 Data Studio 的可视化集成,以及与谷歌 Bigtable、BigQuery 等数据源的集成。

2022-02-17 08:18:01 386 4

原创 Kafka【付诸实践 04】Java实现筛选查询Kafka符合条件的最新数据(保证数据最新+修改map对象key的方法+获取指定数量的记录 源码分享粘贴可用)

Java实现查询Kafka符合条件的最新数据(保证数据最新+修改map对象key的方法+获取指定数量的记录 源码分享粘贴可用)

2022-01-12 16:20:05 2395 4

原创 Kafka【问题记录 01】kill -9 导致 Kakfa 重启失败问题处理(doesn‘t match stored clusterId xxx in meta.properties)

The Cluster ID xxx doesn't match stored clusterId Some(yyy) in meta.properties 报错问题处理。

2022-01-10 10:13:54 800

原创 Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试(一篇学会使用 Offset Explorer)

一篇学会使用 Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试

2021-12-24 16:50:19 7119 9

原创 Kafka【基础知识 02】集群+副本机制+数据请求+物理存储+数据存储设计(图片来源于网络)

Kafka集群+副本机制+数据请求+物理存储

2021-12-21 15:24:19 260

原创 Kafka【付诸实践 02】消费者和消费者群组+创建消费者实例+提交偏移量(自动、手动)+监听分区再平衡+独立的消费者+消费者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka消费者】

消费者和消费者群组+创建消费者实例+提交偏移量(自动、手动)+监听分区再平衡+独立的消费者+消费者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka消费者】

2021-12-21 14:41:52 504 2

原创 Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】

生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)

2021-12-21 11:57:20 1155 2

原创 Presto【付诸实践 01】Presto查询性能优化(数据存储+SQL优化+无缝替换Hive表+注意事项)及9个实践问题分享

Presto查询性能优化(数据存储+SQL优化+无缝替换Hive表+注意事项)及9个实践问题分享

2021-12-14 17:22:46 3488 4

原创 Presto【基础知识 01】简介+架构+数据源+数据模型+特点(一篇即可入门支持到PB字节的分布式SQL查询引擎Presto)

1. WHATPresto 是一个 facebook 开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。它的架构由关系型数据库的架构演化而来。它能在各个内存计算型数据库中脱颖而出,在于以下几点:清晰的架构,是一个能够独立运行的系统,不依赖于任何其他外部系统。例如调度,Presto 自身提供了对集群的监控,可以根据监控信息完成调度。简单的数据结构,列式存储,逻辑行,大部分数据都可以轻易的转化成 Presto 所需要的这种数据结构。丰富的插件接口,完美对接外部存储系统,或者添

2021-12-09 15:50:03 527 2

原创 Presto【环境搭建 01】Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证(详细配置说明+Yanagishima已编译文件分享)

Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证(详细配置说明+Yanagishima已编译文件分享)

2021-12-07 16:32:26 2108 8

原创 Kettle【实践 01】Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理(完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源)

Linux环境下使用Azkaban定时调用Kettle的KJB或KTR脚本实现自动化数据处理(完整流程实例分享:包含sql+ktr+shell+flow相关文件云资源)

2021-11-26 17:46:26 2400 20

原创 Superset【实践 02】Druid数据库+Superset可视化(Druid数据源配置+图表添加+仪表盘添加)详细使用举例

Superset【实践 02】Druid数据库+Superset可视化(Druid数据源配置+图表添加+仪表盘添加)详细使用举例 20220429更新

2021-11-11 14:36:14 1836 10

原创 Druid【部署 01】最新版本的(安装+启动服务+打开控制台+本地文件数据载入+数据查询)及(小内存服务器启动JVM参数调整)一次学会使用Druid的完整流程(已完成)

Druid【部署 01】最新版本的(安装+启动服务+打开控制台+本地文件数据载入+数据查询)及(小内存服务器启动JVM参数调整)一次学会使用Druid的完整流程(已完成)20220429更新

2021-11-09 18:10:06 2263 6

原创 Druid【基础 01】是什么+主要特点+设计原则+架构+数据结构(简单入门Druid)

Druid【基础 01】是什么+主要特点+设计原则+架构+数据结构(简单入门Druid)20220429更新

2021-11-09 15:25:34 4649 2

原创 Hive【基础知识 05】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)

1.Database-- 1.1 查看数据库列表SHOW databases;-- 1.2 使用数据库USE database_name;-- 1.3 新建数据库-- 语法:CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCHEMA 是等价的[COMMENT database_comment] --数据库注释[LOCATION hdfs_path] --存储在 HDFS 上的位置[WITH DBP

2021-10-27 10:15:31 285 4

原创 Grafana【环境搭建 01】CentOS release 7.5 可视化工具 Grafana 8.2.0 专业版安装配置及使用(SHA256完整性验证+Greenplum数据源添加+仪表盘测试)

1. Why最近参与的数据中台项目,需要直观展示接入数据的情况,项目使用了传统的 Oracle 和 MySQL 数据库,也是用了分布式数据库 Greenplum 和时序数据库 Influxdb,想要同时展示这些类型的数据源,可以自己写查询语句和前端,当然也可以借助可视化工具,Grafana 就同时支持以上数据源。官网对 Grafana 的简单介绍:Dashboard anything. Observe everything.Query, visualize, alert on, and unde

2021-10-08 17:48:52 662 10

原创 Superset【问题 01】Superset连接MySQL数据库报错(Unexpected error occurred, pleace check you logs for details)

Superset【问题 01】Superset连接MySQL数据库报错(Unexpected error occurred, pleace check you logs for details)

2021-09-30 09:59:46 4291 12

原创 Superset【实践 01】数据可视化图表工具 Superset(Greenplum数据库连接举例+MySQL数据集+图表添加配置+仪表盘添加与设置)一文学会使用Superset

Superset【实践 01】数据可视化图表工具 Superset(Greenplum数据库连接举例+MySQL数据集+图表添加配置+仪表盘添加与设置)一文学会使用Superset 20220429更新

2021-09-29 17:58:42 1695 4

原创 Superset【部署 01】在线安装数据可视化图表工具 Superset(Python虚拟环境部署+问题解决+WEB登录配置+官方图表展示)

Superset【部署 01】在线安装数据可视化图表工具 Superset(Python虚拟环境部署+问题解决+WEB登录配置+官方图表展示)20220429更新

2021-09-28 17:51:52 1471 5

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除