自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 资源 (1)
  • 收藏
  • 关注

原创 Error:scalac: Scala compiler JARs not found (module ‘com.spark.kudu‘)

背景:今天使用IDEA导入以前的Maven项目,运行报一下错误Error:scalac: Scala compiler JARs not found (module 'com.spark.kudu'): C:\myfiles\git\maven\MavenRepository\org\scala-lang\scala-library\2.11.8\scala-library-2.11.8.jar, C:\myfiles\git\maven\MavenRepository\org\scala-lang\sc

2020-09-27 16:06:59 3166 1

原创 JVM笔记(三)垃圾收集器与内存分配策略

程序计数器、虚拟机栈、本地方法栈这三个区域在线程运行时每个栈帧所分配的内存,在类结构确定下来时就已经确定。而java堆和方法区只有在程序运行时才知道创建哪些对象,内存分配和回收是动态的一、怎样判断对象已死1.引用计数算法给每个对象分配一个引用计数器,对象每多一个引用计数器加1,损失一个引用计数器减1。缺点就是它无法解决对象之间相互引用的问题,例如:objA.instance=objB及objB.instance=objA,这种情况对象虽然无法再访问,但是计数器却不为0,对象无法回收。优点是实现简单,

2020-09-24 16:15:16 173

原创 JVM笔记(二)OutOfMemoryError与StackOverflowError异常

在Java虚拟机规范的描述中,除了程序计数器外,虚拟机内存的其他几个运行时区域都有发生OutOfMemoryError(OOM)异常的可能一、Java堆溢出垃圾回收的标准是:GC Roots到对象之间没有可达路径即可回收。当对象数量到达堆所能容下的最大限制后就会产生内存溢出异常。代码测试如下:/** * VM Args:-Xms20m -Xmx20m -XX:+HeapDumpOnOutOfMemoryError */public class HeapOOM { static clas

2020-09-24 15:02:56 308

原创 JVM笔记(一)对象访问方式

方式一使用句柄访问方式该方式优势是reference中存储的是稳定的句柄地址,在对象被移动(垃圾收集时移动对象是非常普遍的行为,复制算法,标记整理,标记清除都需要移动对象)时只会改变句柄中的实例数据指针方式二使用直接指针访问对象(主流虚拟机sun HotSpot使用该方式)该方式优势是速度快,它节省了一次指针定位的时间开销(换句话说:不用先找到地址的地址,再找到地址,最后访问到对象。而是直接访问对象的地址去找对象),由于我们访问对象比较频繁,因此在开销上积少成多也能减少不少的成本。学习资料:

2020-09-24 14:01:06 202

原创 VMware Workstation 15.5 pro安装CentOS7,并克隆子节点

背景:通过虚拟机安装CentOS7克隆副本,用于搭建Flink集群准备:1.VMware-workstation-full-15.5.2.zip 下载路径2.CentOS-7-x86_64-DVD-1908.iso 下载路径一.创建第一个虚拟机由于我们是把虚拟机当作服务器,所以不需要安装复杂的功能和界面,所以我们选择经典模式,然后下一步选择稍后安装操作系统,然后下一步选择linu...

2020-04-23 19:50:15 444

转载 kafka扩容重平衡分区数据

问题描述:kafka集群扩容进行重新分区后需要对分区重平衡,否则容易导致分区数据倾斜。详细过程请参考原博客:https://www.cnblogs.com/qcloud1001/p/8330233.html注意:重分区是对分区切片所在节点的重新分配,而不是数据由旧分区平衡到新分区...

2019-11-12 17:54:16 3023

原创 解决在java中调用scala类打包报异常的问题

问题描述在java中调用scala类能正常调用,但是在使用maven打包的时候报错,报错如下:[ERROR] /C:/Users/renre/IdeaProjects/MavenTest/src/main/java/aldwxconfig/Test.java:[3,13] 程序包utils不存在[ERROR] /C:/Users/renre/IdeaProjects/MavenTest/sr...

2019-10-18 13:52:16 2363 3

原创 openresty+lua实现实时写kafka

一.背景在使用openresty+lua+nginx+flume,通过定时切分日志发送kafka的方式无法满足实时性的情况下,小编开始研究openresty+lua+nginx+kafka实时写kafka,从而达到数据实时性,和高性能保证。实现如下:1.openresty安装nginx,以及lua的使用请看博主上一篇博客https://blog.csdn.net/qq_29497387/a...

2019-09-24 17:32:50 3312

原创 python实现监控sparkStreaming并失败重启

python实现监控sparkStreaming并失败重启本博客实现了对mysql,hive,sparkStreaming的监控,具体步骤如下:1.安装依赖安装wheelpip install wheel安装saslpip install D:\python\sasl-0.2.1-cp36-cp36m-win_amd64.whl注:需要下载与python 版本对应的sasl,我的...

2019-08-29 15:27:41 391

原创 手动实现userAgent解析

**手动实现userAgent解析**

2019-08-28 17:47:11 753

转载 openresty安装nginx和lua以及lua调用

openresty安装nginx和lua调用用过nginx的人都知道,nginx用起来比较顺手也有很多的特性。但是在nginx上开发却成了一个很大的难点,因为Nginx模块的开发涉及到C语言,而且必须符合一系列复杂的规则,这就要求开发者必须非常熟悉Nginx的源代码,而且开发的C模块必须与源代码完美契合,这使得许多开发者望而生畏。openresty的产生为我们解决了这个难题,openresty允...

2019-08-20 11:10:10 694

原创 怎样使用spark的pipe调用外部程序

版权声明:本文为博主原创文章,转载请附上原文出处链接和本声明怎样使用spark的pipe调用外部程序Spark在RDD上提供pipe()方法。Spark的pipe()方法可以让我们使用任意一种语言实现Spark作业中的部分逻辑,只要它能读写Unix标准的流就行。通过pipe(),你可以将RDD中的各元素从标准输入流中以字符串形式读出,并对这些元素执行任何你需要的操作,然后把结果以字符串的形式写...

2019-08-15 15:58:16 2629

master.zip

实现openresty+lua+nginx+kafka,nginx接收请求后经lua处理实时写入kafka,该压缩包为lua调用kafka的依赖包

2019-09-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除