笔记
文章平均质量分 87
虎鲸不是鱼
谁说我懒?再勤奋就变成高产的母猪了
展开
-
在JDK17尝鲜Flink1.17
在JDK17尝鲜Flink1.17前言还没玩明白老版本,Flink1.17就来了!!!总还是要向前看的。。。根据官网文档:https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/try-flink/local_installation/Flink runs on all UNIX-like environments, i.e. Linux, Mac OS X, and Cygwin (for Windows). You nee原创 2023-07-03 22:49:24 · 3134 阅读 · 7 评论 -
使用KubeSphere3.3在Ubuntu20.04的Kubernetes1.24上部署Word Press
借助KubeSphere部署一个Word Press服务。这个应用的后端服务是MySQL,持久化到PVC中,账户密码存在Secret中,暴露一个Service给前端服务使用。前端服务就是Word Press,持久化到PVC中,账户密码存在另一个Secret中,暴露一个Service给Pod外部的租户使用。这个案例大体上涵盖了K8S部署常见的有状态应用和无状态应用。原创 2023-05-30 00:36:30 · 626 阅读 · 1 评论 -
在Ubuntu20.04部署Flink1.17实现基于Flink GateWay的Hive On Flink的踩坑记录(一)
在Ubuntu20.04部署Flink1.17实现基于Flink GateWay的Hive On Flink。DDL可以正常使用原创 2023-05-22 02:35:50 · 1367 阅读 · 4 评论 -
【五一创作】使用Scala二次开发Spark3.3.0实现对MySQL的upsert操作
本文介绍使用Scala对Spark做二次开发实现对MySQL执行upsert操作的原理及实现原创 2023-04-29 18:05:05 · 3719 阅读 · 3 评论 -
大数据平台开发——使用Java和Python调用Shell脚本
大数据平台开发——使用Java和Python调用Shell脚本原创 2023-04-02 23:18:26 · 551 阅读 · 2 评论 -
简单体验K8S的Saas服务-青云KubeSphereCloud轻量集群服务
简单体验K8S的Saas服务-青云KubeSphereCloud轻量集群服务原创 2023-03-30 23:14:54 · 1025 阅读 · 0 评论 -
使用Java写一个Hive的UDF将中文转为拼音【借助pinyin4j-2.5.1】
使用Java写一个Hive的UDF将中文转为拼音【借助pinyin4j-2.5.1】原创 2023-03-28 23:08:45 · 565 阅读 · 4 评论 -
从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala
本文将以大数据开发中最常见的数仓组件Hive的drop table为例,抛砖引玉,解读为神马大数据开发可以脱离SQL、Java、Scala。原创 2023-03-24 02:14:16 · 1706 阅读 · 4 评论 -
使用Shell传参解决DataPhin中PySpark不支持中文的问题
使用Shell传参解决DataPhin中PySpark不支持中文的问题原创 2023-03-21 22:28:58 · 401 阅读 · 0 评论 -
Hive拉链表
使用HQL写一个Hive On Tez任务,以便跑出拉链表数据原创 2023-03-20 23:37:09 · 2022 阅读 · 0 评论 -
Hive On Tez小文件合并的技术调研
调研了Hive On Tez的3种小文件合并的方式原创 2023-03-13 23:52:35 · 758 阅读 · 2 评论 -
我的创作纪念日
我的创作2周年纪念日原创 2023-03-09 20:52:12 · 650 阅读 · 3 评论 -
使用Java编写Hive的UDF实现身份证号码校验及15位升级18位
使用Java编写UDF给Hive SQL使用,实现身份证15位转18位、18位身份证校验原创 2023-02-25 20:35:56 · 992 阅读 · 6 评论 -
USDP使用笔记(八)Flink配置及简单测试
修改USDP2.0上更换好的Flink1.14的配置并测试运行原创 2022-12-28 22:13:48 · 608 阅读 · 12 评论 -
Spark3.3.0的DataFrame及Spark SQL编程的性能对比【单机模式下】
对比了Spark3.3.0的DataFrame及Spark SQL编程的性能,分析出Shuffle性能瓶颈可能是硬盘IO或者交换机带宽原创 2022-12-16 01:46:02 · 1439 阅读 · 3 评论 -
使用Flink1.16.0的SQLGateway迁移Hive SQL任务
根据FFA2022,讲解HQL任务借助Flink sql Gatew迁移到Flink1.16.0原创 2022-12-06 00:16:14 · 2076 阅读 · 1 评论 -
使用Spark的foreach算子及UDTF函数实现MySQL数据的一对多【Java】
本文用Spark的foreach算子及UDTF函数及纯SQL的3种方式实现了MySQL数据的一对多运算,主要使用Java原创 2022-11-29 00:28:35 · 1150 阅读 · 3 评论 -
在Windows10环境安装CUDA11.7及PyTorch1.13--使用Nvidia RTX A4000开始炼丹之旅
本文仔细介绍了如何在Win10环境安装驱动、CUDA及PyTorch,并使用PyCharm写了Demo测试CUDA加速的效果,跑分查看A4000显卡性能原创 2022-11-13 00:22:41 · 13329 阅读 · 16 评论 -
【集群迁移】使用Shell脚本获取老集群整个Hive库的建库、建表DDL
【集群迁移】使用Shell脚本获取老集群整个Hive库的建库、建表DDL原创 2022-11-09 20:31:56 · 1039 阅读 · 2 评论 -
使用Spark读写Parquet文件验证Parquet自带表头的性质及NULL值来源【Java】
使用Spark读写Parquet文件验证Parquet自带表头的性质及NULL值来源【Java】原创 2022-11-04 21:55:05 · 1158 阅读 · 1 评论 -
Spark的RDD编程模拟RPAD函数效果实现数据右侧填充空格等内容以便文件对齐【Java】
Spark的RDD编程模拟RPAD函数效果实现数据右侧填充空格等内容以便文件对齐【Java】原创 2022-11-03 23:55:21 · 185 阅读 · 2 评论 -
使用Spark实现推主机群Hive数据到租户集群Hive的高性能Hive2Hive数据集成【Java】需编写JDBC连接Hive解析元数据
使用Spark实现推主机群Hive数据到租户集群Hive的高性能Hive2Hive数据集成【Java】需编写JDBC连接Hive解析元数据原创 2022-11-03 22:50:56 · 860 阅读 · 4 评论 -
使用跳板机实现外网访问局域网内虚拟机的大数据及K8S集群【借助向日葵】
使用跳板机实现外网访问局域网内虚拟机的大数据及K8S集群【借助向日葵】原创 2022-11-01 21:06:47 · 1746 阅读 · 1 评论 -
编写Spark的UDF函数解决Hive表大数【bigint、double、float、decimal等】转字符串string时出现的科学计数法问题【Java】
编写Spark的UDF函数解决Hive表大数【bigint、double、float、decimal等】转字符串string时出现的科学计数法问题【Java】原创 2022-10-31 21:39:58 · 1725 阅读 · 2 评论 -
Hive3.1.2自带的系统函数及UDF的随系统自动注册
本文探索了Hive3.1.2自带的系统函数,并找到随系统自动注册UDF的方法原创 2022-10-24 21:10:01 · 1333 阅读 · 2 评论 -
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平原创 2022-10-24 18:30:00 · 850 阅读 · 4 评论 -
在K8S1.24使用Helm3部署Alluxio2.8.1
在K8S1.24使用Helm3部署Alluxio2.8.1原创 2022-09-12 12:05:43 · 1583 阅读 · 2 评论 -
在Ubuntu20.04安装StarRocks On Docker并在DataGrip配置JDBC协议连接容器内StarRocks2.3.2
在Ubuntu20.04安装StarRocks On Docker并在DataGrip配置JDBC协议连接容器内StarRocks2.3.2原创 2022-09-10 02:59:57 · 1797 阅读 · 0 评论 -
在Ubuntu20.04安装Kylin4 On Docker并在DataGrip配置JDBC协议连接容器内Hive1.2.1及Kylin4.0.0
在Ubuntu20.04安装Kylin4 On Docker并在DataGrip配置JDBC协议连接容器内Hive1.2.1及Kylin4.0.0原创 2022-09-08 11:53:43 · 1450 阅读 · 2 评论 -
在Ubuntu20.04安装单节点ClickHouse22.8.4并解决DB::NetException: Connection refused NETWORK_ERROR导致无法远程访问的问题
在Ubuntu20.04安装单节点ClickHouse22.8.4并解决DB::NetException: Connection refused NETWORK_ERROR导致无法远程访问的问题原创 2022-09-07 08:54:30 · 1583 阅读 · 1 评论 -
Tez的web UI简单体验
简单体验Tez的web UI并分析各stage耗时,学习CDP7的Hive On Tez调优策略原创 2022-09-06 08:37:39 · 890 阅读 · 3 评论 -
Hive3.1.2的HQL执行过程
Hive3.1.2的HQL执行过程原创 2022-09-04 13:30:10 · 609 阅读 · 1 评论 -
beeline中所有Hadoop及Hive可调参数
beeline中所有Hadoop及Hive可调参数原创 2022-09-01 00:38:30 · 760 阅读 · 2 评论 -
Hive3.1.2的Beeline执行过程
Hive3.1.2的Beeline执行过程原创 2022-09-01 00:37:22 · 2060 阅读 · 1 评论 -
在KubeSphere启用基于Jenkins的DevOps
在KubeSphere启用基于Jenkins的DevOps原创 2022-08-18 00:31:08 · 1740 阅读 · 1 评论 -
在KubeSphere启动服务网格Istio并解决解决ContainerCreating问题
在KubeSphere启动服务网格Istio并解决解决ContainerCreating问题原创 2022-08-17 11:51:39 · 3522 阅读 · 2 评论 -
在Ubuntu20.04单机部署Doris1.1
在Ubuntu20.04单机部署Doris1.1原创 2022-08-15 00:00:24 · 2345 阅读 · 1 评论 -
使用kubekey的all-in-one安装K8S1.24及KubeSphere3.3
使用kubekey的all-in-one安装K8S1.24及KubeSphere3.3原创 2022-08-08 21:34:35 · 2767 阅读 · 3 评论 -
使用Java继承UDF类或GenericUDF类给Hive3.1.2编写UDF实现编码解码加密解密并运行在USDP大数据集群
使用Java继承UDF类或GenericUDF类给Hive3.1.2编写UDF实现编码解码加密解密并运行在USDP大数据集群原创 2022-08-05 22:16:45 · 1761 阅读 · 2 评论 -
HQL中NULL=NULL结果为NULL导致的问题
HQL中NULL=NULL结果为NULL导致的问题原创 2022-05-20 00:05:24 · 634 阅读 · 5 评论