- 博客(305)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 DolphinScheduler-3.1.9 资源中心实践
本文主要讲本地基础环境伪分布式简单搭建以及遇到的问题，并且以开启资源中心为例列举了 shell 脚本和 Python 脚本的示例，其中 shell 脚本没有问题，主要问题点在 Python，目前来看使用 python任务引入资源中心的 Python 无法成功，后续持续跟进研究，如果你有好的方案烦请和我交流。
2024-07-06 19:38:24
920
原创 Seatunnel本地模式快速测验
本节主要总结了单机模式下使用 seatunel完成官方示例程序，初步体会使用，其实使用起来还是很简单的，模式同我之前介绍的 DataX如出一辙，可喜的是它有自己的 web页面可以配置，因此后面我将分享下如何在页面中进行配置同步任务，最后时间允许的情况下，分析起优秀的源码设计思路，千里之行始于足下，要持续学习，持续成长，然后持续分享，再会～。
2024-07-02 14:20:53
830
原创 Datax快速使用之牛刀小试
本节内容的一个目标就是快速将 datax用起来，当然如果你有海豚，可以自行配置下结合起来测测看，后面我会将这块内容更新上。
2024-07-01 21:30:40
698
原创 Kubernetes Ingress 简介
创建一个 Ingress 资源来定义外部访问的规则。这些规则包括主机名、路径、目标服务等。metadata:spec:rules:http:paths:- path: /backend:service:port:number: 80在这个示例中，Ingress 定义了将主机名下的路径的请求路由到名为的 Service 的 80 端口。本文主要讲解了 ingress 的基本介绍和使用 demo,最后将工作原理总如如下六大部分。定义 Ingress 资源：定义外部访问规则。
2024-06-22 17:49:52
1129
原创 Apache Doris 之 Docker 部署篇
本文主要讲了如何构建一个单机版的 Doris 以便于学习使用，最后演示了官网的一个小示例仅供参考。遇到这些问题无解的时候给人一种深深的无力挫败感，如按照官网说的去做，可能真的就是从入门到放弃了。我花费了 4 个多小时踩了各种坑才最终将环境问题解决，希望大家可以避过这些坑，保持对学习的热忱，加油。
2024-06-18 12:36:54
1363
原创 Spring-kafka消费者消费的一些问题
Apache Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用程序。发布和订阅记录流：类似于消息队列或企业消息传递系统。存储记录流：存储数据流容错。处理记录流：实时或批处理方式处理数据流。Spring Kafka 是 Spring 框架的一个子项目，提供了用于与 Kafka 集成的便捷工具和抽象。Spring Kafka 包含在 Spring Boot 项目中，使得 Kafka 消息处理在 Spring 应用程序中变得更加容易和直观。
2024-06-16 17:54:18
1034
1
原创 k8s快速上手实操
本文详细介绍了Kubernetes (k8s) 的基本概念、安装与部署流程，并通过一个实际示例演示了如何进行Kubernetes编排部署。文章深入讲解了配置文件的作用，并最终通过web管理界面与配置文件相结合，帮助读者更好地理解和应用Kubernetes。
2024-06-15 12:06:17
1008
原创 数仓建模中的一些问题
数据仓库数据模型设计是构建数据仓库的核心过程之一。其目的是将多个数据源中的数据整合到一个统一的数据模型中，以支持业务分析和决策。然而，在数仓建设的过程中，由于未能完全按照规范操作， 从而导致数据仓库建设比较混乱
2024-06-09 12:08:05
968
原创 macbook本地部署 pyhive环境连接 hive用例
公司的测试和生产环境中尚未提供基于Hive的客户端。若希望尝试操作Hive表，目前一个可行的方案是使用Python语言，通过借助pyhive库，您可以对Hive表进行各种操作。以下是一些示例记录供您参考。
2024-06-08 15:31:55
1019
3
原创 注解的妙用
定义一个非常简单的，打印方法传参的注解@Target(ElementType.METHOD) // 作用在方法上@Retention(RetentionPolicy.RUNTIME) // 运行时可见（默认编译时可见）通过反射获取对应注解并解析其中的参数信息。
2024-06-02 14:16:28
881
原创 Java内存模型和 JVM 内存运行时
当我们提到 Java 的内存模型的时候通常会想到 JVM 运行时候的数据区域，比如包括线程私有的堆，方法区，线程共享的有本地方法栈，虚拟机栈，程序计数器。Java程序启动后，就会初始化这些内存的数据。但是这就是 Java 的内存模型了吗？Java的内存模型（Java Memory Model，JMM）是Java虚拟机（JVM）规范中定义的一种抽象概念，用于描述Java程序中各种变量的存储方式、访问规则以及线程之间的交互关系。
2024-04-18 22:49:30
1137
原创 Spring事务这件事
事务（Transaction）是数据库系统中用于保证数据一致性和完整性的基本单位。遵循 ACID 的特性。原子性（Atomicity）：事务被视为一个不可分割的工作单元，要么全部成功执行，要么全部失败回滚。这意味着事务中的所有操作要么全部完成，要么全部撤销，不会出现部分完成的情况。原子性保证了数据的完整性，避免了因部分操作失败导致的数据不一致。一致性（Consistency）：事务执行前后，数据库必须从一个有效状态变为另一个有效状态，始终保持数据的逻辑一致性。
2024-04-18 16:04:10
706
原创 一个 Java8 的坑坑了我 2 小时试错...
上述402 小版本的坑没有真正解决，但是可以通过降低版本的方式来解决问题，所以遇事不能死脑筋，能解决问题就好，网络上太多纷杂的文章解决方案，有收费的，有一笔带过的，希望的我遇到的问题能使你不在踩坑，阿门～
2024-03-18 15:49:39
501
原创 将 Spring Boot 项目发布到 Docker 容器，简化部署过程！
一般公司内都有的自己的镜像仓库，目前比较流行的是使用 Docker 和 Jenkins 进行持续集成和持续部署（CI/CD） 以上只是简单的将项目部署到 docker 容器中，真正实现了类 Java 一般“一次构建，到处运行”。但是，如果在生产环境中部署容器，那么你可能需要使用容器编排工具，例如 Kubernetes 或 Docker Swarm，来管理和调度容器。这些工具可以帮助你自动化容器的部署、扩展和管理，以确保你的应用程序在生产环境中可靠地运行。
2024-03-15 17:49:40
1075
原创 Spring ServiceLocatorFactoryBean 小结
服务定位模式Service Locator Pattern来解决，它帮助我们消除紧耦合实现及其依赖性，并提出将服务与其具体类解耦。参考：https://www.cnblogs.com/qiushuiyu-108/p/17140900.html。
2023-07-01 22:31:49
750
原创 Springboot多数据源配置的一个问题记录
项目分为多模块：模块A:模块B：模块B依赖模块A, 后来模块A新增了多数据源配置，然后在不修改模块B的情况下就会启动报错，如下所示：模块B项目启动报错如下：原因分析：最关键的是这里：在此之前我设置过动态数据源，但是模块b并没有，这里的报错很奇怪，排查了大约几分钟，发现问题所在。在模块b中去除模块A所依赖的动态数据源配置的包dynamic-datasource-spring-boot-starter，具体如下：直接在依赖项中去除传递依赖性即可，这里有些小坑，即使你没有用多数据源，只要引入包了，它就
2023-06-26 16:05:51
711
原创 记录一次scala项目导入编译失败的问题
Tips： 这里要根据自己的情况设置，其中xss表示栈空间栈内存的大小，设置的栈的大小决定了函数调用的最大深度，默认的参数可能不够，需要加大点。下载：https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz。如果第二个不改变原始大小：-Xss2048k 就会一直报堆栈溢出，因此这里调整为2m既可，应付一般的递归深度应是足够了。以上报错，其实是scala编译的栈溢出了，可以参照我如下的设置。MacBook Apple m2芯片。
2023-06-14 22:29:50
1157
原创 关于需求沟通的一点思考
作为一名程序员，可能会来自各方的需求沟通问题，而且更多的时候是横插进来的任务，每个人都说这个任务优先级高，尽快做，是不是有点焦头烂额了，马上就开始啪啪敲代码了吗？NO~注：并非所有的公司组织效能那么完善，一人多用的情况普遍存在。我觉得需要试问自己如下几个问题：1、需求的优先级到底是由谁来决定？至于优先级，肯定是领导来定的，如果接受新的任务，造成正在开发的任务延期这个责任要明确。2、用户的这个需求真的非做不可么？首先接到需求，难免进行一番唇枪舌剑的激烈交锋，沟通之后如果没有文档落地，等于无效沟通，
2021-12-24 20:33:07
517
原创 Git使用问题记录
前言<font color=#999AAA Git的操作可以使用命令行，当然为了偷懒熟练使用IDEA的git未尝不是一个好办法！一、当前修改的分支想要暂存怎么办？这个需要是因为当前修改的分支还没有修改完，突然有另外的需求需要去处理，如果当前的分支不暂存，则新的分支中就会包含当前分支的修改，这个时候使用IDEA的如下功能即可。等修改完之后，在切换到该分支，使用Git -> Unstash Changes …即可恢复。二、想要同步最新的分支怎么做？可以选择如下需要同步的源分支，甚至
2021-11-30 11:09:53
1447
原创 mybatis-plus最好用的逻辑删除
文章目录前言一、逻辑删除1.添加全局配置2.设置实体中的字段总结前言为了防止人为的因素导致误删除无法恢复的情况所以我们需要逻辑意义上的删除，而通常最简便的方式就是打标记，这个步骤可以由mybatis-plus工具非常方便的解决提示：以下是本篇文章正文内容，下面案例可供参考一、逻辑删除1.添加全局配置#逻辑删除（全局生效）mybatis-plus.global-config.db-config.logic-delete-field=deletedmybatis-plus.global-..
2021-11-16 10:31:36
1184
原创 MySQL笔记
一、重置root密码root密码已经忘记的情况下二、使用步骤先关闭mysql：systemctl start mysqldsystemctl status mysqld1. 修改配置文件修改/etc/my.cnf 新增配置项：skip-grant-tables# For advice on how to change settings please see# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defa
2021-10-22 17:03:21
324
原创 Python2.7升级版本记录
文章目录前言一、环境二、升级步骤1.安装各类依赖库2.编译3.编译安装4. 添加软连接5.修改yum安装6.升级pip7. 验证参考前言python2.x版本已经废弃了，有些软件安装的是会遇到如下提示，“Sorry, Python < 3.6 is not supported”，因此本文记录下升级过程。 提示：以下是本篇文章正文内容，下面案例可供参考一、环境cat /etc/redhat-releaseCentOS Linux release 7.9.2009 (Core)p
2021-10-09 16:39:45
341
原创 分页中遇到的一个传值问题
文章目录前言一、传入Integer值参数二、传入String值参数前言目的：在前端传入一个参数对所选的结果进行分页过滤，这应该是非常常见的一个需求吧，但是如何传Integer值使用mybatis-plus却无法被解析，认为参数为空，以下是一个用例说明。下面案例可供参考一、传入Integer值参数1、请求传参{ "keyword": "", "metricName": "", "pageNo": 1, "pageSize": 10, "processTag": 0}
2021-10-08 17:23:36
376
原创 SpringBoot有关数组对象转JSON
文章目录前言一、pandas是什么？二、使用步骤1.插入数据2.查询数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.插入数据代码如下（示例）： // 1. 字段类型定义 @TableFi
2021-09-14 20:54:10
1786
原创 Kylin接入外部Jdbc Mysql数据源
前言Kylin目前不仅仅支持Hive作为数据源构建cube，也可以支持使用外部jdbc作为数据源进行构建，比如使用MySQL数据源的时候会让我们下载sqoop安装包，本质上是使用sqoop全量同步我们要构建的MySQL数据，先加载到hive的临时表中，构建完成之后然后再清理。对于需要增量数据同步并进行构建的情况不太友好提示：以下是本篇文章正文内容，下面案例可供参考一、环境安装部署为了简化安装的环节，可以直接借用官方提供的docker化部署方案进行验证即可。# 拉取镜像docker pull a
2021-07-21 11:29:23
1469
5
原创 远程debug docker中应用
前言最近在研究kylin相关的内容，采用官方提供的docker化一键部署的方式来进行，作为远程服务本地debug的原理是相通的，这里记录下来以便参考提示：以下是本篇文章正文内容，下面案例可供参考一、暴露容器的端口比如我这里采用暴露的调试端口为：9999 生产者不建议暴露原生端口。docker run -d --log-opt max-size=10m --log-opt max-file=1 \-m 8G \-p 7070:7070 \-p 8088:8088 \-p 16010:16.
2021-07-20 11:04:39
646
原创 IDEA一劳永逸设置默认maven
前言每次发现新建项目的时候maven设置便自动重置是不是很恼火，别急这里记录下一劳永逸的办法提示：以下是本篇文章正文内容，下面案例可供参考一、设置示例：IntelliJ IDEA 2021.1.3 (Ultimate Edition)老的版本中可以通过Other Settings入口中去设置默认配置，但是新的IDEA取消了，这时可以使用新建项目的入口如下：此时进入：Setttings for New Projects … 设置如下Maven选项这样再次新建项目的时候便可以应用自己的设置了
2021-07-06 19:32:59
697
原创 Flink常见报错持续更新
Flink-1.101、Job因为没有可用的任务slot而失败2021-06-24 12:50:36,433 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Job Windowed Join Example (d2f1e2b84ab8bc67298b32022a77c4fa) switched from state RUNNING to FAILING.org.apache.flink.runtime.jobmanager.s
2021-07-05 00:19:16
1554
原创 经典的排序算法拾遗笔记
文章目录一、选择排序二、插入排序交互两个位置的元素总结各种排序算法复杂度总结如下：一、选择排序分析： /** * 选择排序 [ 4,3,5,1] * 4 3 5 1 len=4 * i 0 1 2 * j 1 2 3 */ public static void selectSort(int[] arr) { if (arr == null || arr.length < 2) { re
2021-04-17 22:30:55
169
原创 链表拾遗笔记
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言1. 反转单链表2. 打印单链表3. O(1)删除指定节点4. 双指针法求求链表倒数第k个节点5. 判断链表是不是有环总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考1. 反转单链表 /** * 递归 https://blog.csd
2021-04-17 18:23:44
173
原创 二叉树快速拾遗笔记
文章目录前言二叉树前中后序遍历二叉树最大最小深度对称二叉树判断是否是平衡二叉树构造最大二叉树前序遍历打印二叉树二叉树中和为某一值的路径总结前言二叉树基础内容拾遗，使用递归解题三部曲：找整个递归的终止条件： 递归应该在什么时候结束？找返回值： 应该给上一级返回什么信息？本级递归应该做什么：在这一级递归中应该完成什么任务？提示：以下是本篇文章正文内容，下面案例可供参考二叉树前中后序遍历 /** * 1. 前序遍历 根 左 右 * 时间复杂度：O(n)，其中 ..
2021-04-17 17:17:05
199
原创 实时平台开发笔记
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、背景二、功能模块划分1. 作业台主要功能任务生命周期2.任务列表主要功能3.项目管理4.模板管理5.UDF管理三、问题解决1. kerberos认证问题2.分布式锁解决Job名称冲突问题3.自定义线程池用以监控线程运行情况4. 待补充（TODO）其他1. 大量的运用了BeanUtils.copyBean，why?2. SpringBoot结合Mybatis-plus自动回填获取ID3. 使用RequestContextHolde
2021-04-05 09:19:44
615
1
原创 聊聊JavaSPI
文章目录前言一、SPI 示例二、SPI原理与双亲委派机制1. MySQL Driver2.DataX 插件的热插拔也是破坏双亲委派的一种总结前言 SPI 全称为 Service Provider Interface，是一种服务发现机制。它通过在ClassPath路径下的META-INF/services文件夹查找文件，自动加载文件里所定义的类。其运用的非常广泛、比如MySQL驱动加载、DataX热插拔加载插件等。Java SPI 实际上是“基于接口的编程＋策略模式＋配置文件”组合实现的动态加..
2021-04-01 20:04:41
275
1
原创 Java最佳实践笔记
一、常量定义最佳实践public final class Constants { private Constants() { } public static final String COMMON_DATE_FORMAT = "yyyy-MM-dd HH:mm:ss"; public static final String SIMPLE_DATE_FORMAT = "yyyy-MM-dd"; public static final int TRUE = 1;
2021-04-01 16:11:19
178
原创 SpringBoot结合MyBatis-Plus快速CRUD笔记
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、DTO & DO二、示例1. 定义Controller2.定义Service和实现3.定义Mapper4.前端访问测试总结前言提示：这里可以添加本文要记录的大概内容：这里记录下使用SpringBoot结合Mybatis-plus快速构建CRUD接口通用示例。mybatis-plus是mybatis的超集，可以放心使用，具体参考官网。提示：以下是本篇文章正文内容，下面案例可供参考一、DTO &
2021-04-01 16:00:37
494
原创 TIDB使用时的注意点笔记
场景：虽然TiDB号称完全兼容MySQL 5.7 协议、MySQL 5.7 常用的功能及语法，但是其与MySQL数据库仍然存在一些差异，可能会导致下游TiDB环境故障。以下是我们使用TiDB时需要重点关注的差异点，这些差异可能会导致数据同步任务失败，TiDB中数据无法实时更新原因分析与解决：不能在单条 ALTER TABLE 语句中完成多个操作。例如，不能在单个语句中添加多个列或索引，否则，可能会输出Unsupported multi schema change 的错误。示例：alter ta
2021-03-30 11:35:50
2653
原创 Datax从入门到精通09-MongoDB同步到Hive实践
一、MongoDB时区概念：GMT 就是格林威治标准时间的英文缩写(Greenwich Mean Time 格林尼治标准时间)，是世界标准时间，GMT+8 是格林威治时间+8小时，中国所在时区就是gmt+8 。在国内，本地时间和“GMT+8”时区无区别。在国外，本地时间每个地方都不相同,所以只能用一条一条的经线计算时间。然而，mongodb默认就是UTC时间，服务器端貌似无法设置，万能的网友提供的解决方案很多，网上一大堆，其根本原因就是驱动里面做了转换。参考https://blog.csdn.ne
2021-03-17 20:00:20
3340
3
伪分布式下Hadoop测试yarn启用cgroup对资源隔离的影响
2017-12-10
H2DB所需的jar和DEMO示例，可直接导进eclipse中
2015-05-21
Android 线程AsyncTask逐步在list中加入条目
2013-10-12
视频音频格式总结 自己总结的~
2013-10-07
web应用技术入门范例 非常实用
2013-10-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人