- 博客(164)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 在JDK17尝鲜Flink1.17
在JDK17尝鲜Flink1.17前言还没玩明白老版本，Flink1.17就来了！！！总还是要向前看的。。。根据官网文档：https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/try-flink/local_installation/Flink runs on all UNIX-like environments, i.e. Linux, Mac OS X, and Cygwin (for Windows). You nee
2023-07-03 22:49:24
4744
7
原创 使用KubeSphere3.3在Ubuntu20.04的Kubernetes1.24上部署Word Press
借助KubeSphere部署一个Word Press服务。这个应用的后端服务是MySQL，持久化到PVC中，账户密码存在Secret中，暴露一个Service给前端服务使用。前端服务就是Word Press，持久化到PVC中，账户密码存在另一个Secret中，暴露一个Service给Pod外部的租户使用。这个案例大体上涵盖了K8S部署常见的有状态应用和无状态应用。
2023-05-30 00:36:30
774
1
原创 在Ubuntu20.04部署Flink1.17实现基于Flink GateWay的Hive On Flink的踩坑记录（一）
在Ubuntu20.04部署Flink1.17实现基于Flink GateWay的Hive On Flink。DDL可以正常使用
2023-05-22 02:35:50
1813
5
原创 从‘discover.partitions‘=‘true‘分析Hive的TBLPROPERTIES
找到了Hive的MetaStore存储的元数据，并且分析出了和表配置相关的运行机理
2023-05-03 00:23:20
1862
1
原创 【五一创作】使用Scala二次开发Spark3.3.0实现对MySQL的upsert操作
本文介绍使用Scala对Spark做二次开发实现对MySQL执行upsert操作的原理及实现
2023-04-29 18:05:05
3921
3
原创 简单体验K8S的Saas服务-青云KubeSphereCloud轻量集群服务
简单体验K8S的Saas服务-青云KubeSphereCloud轻量集群服务
2023-03-30 23:14:54
1317
原创 使用Java写一个Hive的UDF将中文转为拼音【借助pinyin4j-2.5.1】
使用Java写一个Hive的UDF将中文转为拼音【借助pinyin4j-2.5.1】
2023-03-28 23:08:45
925
4
原创 从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala
本文将以大数据开发中最常见的数仓组件Hive的drop table为例，抛砖引玉，解读为神马大数据开发可以脱离SQL、Java、Scala。
2023-03-24 02:14:16
2003
4
原创 使用Java编写Hive的UDF实现身份证号码校验及15位升级18位
使用Java编写UDF给Hive SQL使用，实现身份证15位转18位、18位身份证校验
2023-02-25 20:35:56
1179
6
原创 Spark3.3.0的DataFrame及Spark SQL编程的性能对比【单机模式下】
对比了Spark3.3.0的DataFrame及Spark SQL编程的性能，分析出Shuffle性能瓶颈可能是硬盘IO或者交换机带宽
2022-12-16 01:46:02
1672
3
原创 使用Flink1.16.0的SQLGateway迁移Hive SQL任务
根据FFA2022，讲解HQL任务借助Flink sql Gatew迁移到Flink1.16.0
2022-12-06 00:16:14
2301
1
原创 使用Spark的foreach算子及UDTF函数实现MySQL数据的一对多【Java】
本文用Spark的foreach算子及UDTF函数及纯SQL的3种方式实现了MySQL数据的一对多运算，主要使用Java
2022-11-29 00:28:35
1245
3
原创 在Windows10环境安装CUDA11.7及PyTorch1.13--使用Nvidia RTX A4000开始炼丹之旅
本文仔细介绍了如何在Win10环境安装驱动、CUDA及PyTorch，并使用PyCharm写了Demo测试CUDA加速的效果，跑分查看A4000显卡性能
2022-11-13 00:22:41
15862
16
原创 【集群迁移】使用Shell脚本获取老集群整个Hive库的建库、建表DDL
【集群迁移】使用Shell脚本获取老集群整个Hive库的建库、建表DDL
2022-11-09 20:31:56
1101
2
原创 使用Spark读写Parquet文件验证Parquet自带表头的性质及NULL值来源【Java】
使用Spark读写Parquet文件验证Parquet自带表头的性质及NULL值来源【Java】
2022-11-04 21:55:05
1383
1
原创 Spark的RDD编程模拟RPAD函数效果实现数据右侧填充空格等内容以便文件对齐【Java】
Spark的RDD编程模拟RPAD函数效果实现数据右侧填充空格等内容以便文件对齐【Java】
2022-11-03 23:55:21
232
2
原创 使用Spark实现推主机群Hive数据到租户集群Hive的高性能Hive2Hive数据集成【Java】需编写JDBC连接Hive解析元数据
使用Spark实现推主机群Hive数据到租户集群Hive的高性能Hive2Hive数据集成【Java】需编写JDBC连接Hive解析元数据
2022-11-03 22:50:56
956
4
原创 使用跳板机实现外网访问局域网内虚拟机的大数据及K8S集群【借助向日葵】
使用跳板机实现外网访问局域网内虚拟机的大数据及K8S集群【借助向日葵】
2022-11-01 21:06:47
2142
1
原创 编写Spark的UDF函数解决Hive表大数【bigint、double、float、decimal等】转字符串string时出现的科学计数法问题【Java】
编写Spark的UDF函数解决Hive表大数【bigint、double、float、decimal等】转字符串string时出现的科学计数法问题【Java】
2022-10-31 21:39:58
2020
2
原创 在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
2022-10-24 18:30:00
923
4
原创 在Ubuntu20.04安装StarRocks On Docker并在DataGrip配置JDBC协议连接容器内StarRocks2.3.2
在Ubuntu20.04安装StarRocks On Docker并在DataGrip配置JDBC协议连接容器内StarRocks2.3.2
2022-09-10 02:59:57
2508
原创 在Ubuntu20.04安装Kylin4 On Docker并在DataGrip配置JDBC协议连接容器内Hive1.2.1及Kylin4.0.0
在Ubuntu20.04安装Kylin4 On Docker并在DataGrip配置JDBC协议连接容器内Hive1.2.1及Kylin4.0.0
2022-09-08 11:53:43
1704
2
原创 在Ubuntu20.04安装单节点ClickHouse22.8.4并解决DB::NetException: Connection refused NETWORK_ERROR导致无法远程访问的问题
在Ubuntu20.04安装单节点ClickHouse22.8.4并解决DB::NetException: Connection refused NETWORK_ERROR导致无法远程访问的问题
2022-09-07 08:54:30
1929
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人