- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop3.0高可用分布式集群部署虚拟机版
Hadoop3.0集群部署虚拟机版 一.部署环境规划 1.1虚拟机及hadoop角色规划 序号 主机名称 os ip cpu 内存 存储 hadoop HA角色规划 namenode datanode resourcemanager nodemanager zkfc journalnode zk 1 master centos7 x64 192.168.141.100 1*2 4
2021-10-27 15:18:34
1025
1
原创 Java不停程序动态加载变更的类
笔者最近在研究如何在不停止已经运行程序的情况下，只要类发生一旦变更就能够自动重新加载新修改的类。之所以研究这个主要原因有以下几个： 不用停止程序就能够完成新逻辑变更 通用程序启动，启动类永远是一个，具体逻辑通过继承相应的接口实现 实现方案 Redis + 哈希(Hash) 将写好的Java代码编译成class文件，然后将字节码文件存到redis中，主程序启动的时候通过自定义classLoader加载相关的类。优点是存取快，缺点是缺少监听机制，需要定时监控redis值的变化，检测到变更触发重新加载类操
2021-10-09 17:34:02
372
原创 Flink集成Hudi使用TableApi实现
笔记最近一直在尝试flink+hudi集成开发，参考Hudi官网，使用flink1.13.0在sql-client命名行上没有成功运行，相关依赖添加至lib目录下依旧有些奇奇怪怪的错误，有兴趣的同学可以尝试下。经过多次尝试不行，笔者决定用table api实现，因为table api在idea本地运行也比较方便看日志查找错误。尝试了好多遍，终于可以使用了，感动呀！希望能帮助快速体验flink+hudi强大的功能的同学提供一点点帮助。 1.新建maven项目 maven项目这里不多做介绍，大家参考网..
2021-07-27 17:24:05
1758
2
原创 Spark调优之推测执行
基本概念 在spark程序中，推测任务是指对于一个stage里面拖后腿的task，会在其他节点的Executor上再次启动这个task，如果其中一个task的实例运行成功者将这个最先完成的task的计算结果，同时会干掉其它Executor上运行的实例。默认情况下推测执行时关闭的。 开启推测的优点： 解决慢task提升作业的整体执行进度 解决分布式集群环境下...
2019-03-07 14:02:24
703
原创 使用tomcat插件运行maven工程
笔者之前在网上浏览了各种各样的有关使用tomcat插件运行maven工程的例子，但是在搭建的过程中总是会遇到各种神奇的问题。最后笔者还是成功的搭建出来，过程很是曲折。所以呢笔者就总结前人的经验，加上自己的理解整理出一套比较简单可行的方法，方便以后使用tomcat插件运行maven工程的小伙伴们。 setings.xml配置文件 笔者之所选择将这部分作为讲解部分是因为笔者希望读者在搭建运行环境的过
2017-06-16 17:04:47
914
原创 IntelliJ IDEA快速创建Maven工程的WEB项目
创建一个新的工程 File->New->Project 选择maven工程的archetype 需要注意的地方有以下三点（图中红色圈部分）：选择项目的SDK,也就是JDK 勾上Create from archetype 从archetype选择后缀为webapp的选项 设置项目的GroupId、ArtifactId以及版本version 选择maven工程的settings文件 mave
2017-06-16 15:18:33
4680
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人