留歌__36的博客

原创 调度平台Rundeck + 配置邮件告警

写在前面常用的调度平台：crontab/azkaban/rundeck/xxl_job/oozie…这些是比较常用的一些调度工具，选择合适自己的即可。Rundeck官网：https://www.rundeck.com/open-sourceGitHub地址： https://github.com/rundeck/rundeck部署安装：前置条件：安装好JDK：比较简单，下载解压，...

原创 Kettle开发流程

前置安装1.安装jdk2.下载kettle,解压，然后运行spoon.bat/spoon.sh 这个文件，一些jdbc驱动包放置在解压后的lib目录下即可。Kettle 开发流程1.创建Kettle资料库（MySQL即可）回到启动界面：admin/admin同时，也是会发现，我们的资料库里面有很多数据库已经创建好了最后保证：...

原创 PyCharm 开发pyspark 应用程序

创建新的空项目：测试一下环境是否ok同时，也是为了配置一下spark环境添加如下两个环境变量：接下来：达到这样，就okIDE开发环境就配置ok了，开始Coding…...

原创 权限管理系统！功能权限？数据权限？

原创 Spark 中 job stage task 关系

写在前面之前在面试的过程中有面到过这个问题，然后在这里简单记录一下。WordCount为例直接执行这个段代码，根据执行结果，进行分析object WCApp { def main(args:Array[String]) = { val conf = new SparkConf().setMaster("local[2]").setAppName("WCApp") va...

原创 企业级生产监控预警平台（实战简介）

写在前面学习这个实战项目也已经过去很久了，本来一直也想以文字的方式将项目中的 点 进行记录下来。有什么问题，欢迎大家一起留言讨论。关于这个系列的 所有文章，有新的想法，我也会及时做更新项目效果主要是想监控生产上的实时日志，日志可以是Linux的系统日志，MySQL数据库的日志，也可以是我们生产项目的业务日志，比如：SpringBoot 项目中打的日志。这些日志都可以作为本项目的原始日志。...

原创 枚举实现单例模式

写在前面单例模式定义： 一个类 只能创建一个实例。使用一个对象来做就不用实例化多个对象！这就能减少我们空间和内存的开销~我们使用静态类.doSomething()和使用单例对象调用方法的效果是一样的啊。没错，效果就是一样的。使用静态类.doSomething()体现的是基于对象，而使用单例设计模式体现的是面向对象。编写单例模式的代码其实很简单，就分了三步：将构造函数私有化在类的内部...

原创 Kafka系列四 之 多分区如何保证数据的有序性

Apache Kafka 消息怎么写？kafka是一个分布式的流消息队列生产者将消息发布到某个主题broker 进行存储消费者 订阅+读数据 从该主题中消息（记录）以序列化字节存储，消费者负责反序列化消息，消息可以具有任何格式，最常见的是字符串，JSON和Avro。JSON 格式的好处与坏处！？ √1....