walt_xu-CSDN博客

原创 spark streaming读取kafka示例

spark streaming读取kafka示例，其中Spark Streaming优雅的关闭策略优化部分参考：http://qindongliang.iteye.com/blog/2404100如何管理Spark Streaming消费Kafka的偏移量部分参考：http://qindongliang.iteye.com/blog/2401194Spark向kafka

2018-02-01 08:34:32 1780

原创从spark streaming checkpoint文件中还原数据

checkpoint的最大的弊端在于，一旦你的流式程序代码或配置改变了，或者更新迭代新功能了，这个时候，你先停旧的sparkstreaming程序，然后新的程序打包编译后执行运行，会发现两种情况：（1）启动报错，反序列化异常（2）启动正常，但是运行的代码仍然是上一次的程序的代码。如果直接把上次的checkpoint删除了，可以启动的新的程序，但是如果使用的是有状态计算（updateSt

2017-06-27 10:20:17 2531 3

转载垃圾回收器种类

Java有四种类型的垃圾回收器：串行垃圾回收器（Serial Garbage Collector）并行垃圾回收器（Parallel Garbage Collector）并发标记扫描垃圾回收器（CMS Garbage Collector）G1垃圾回收器（G1 Garbage Collector）1、串行垃圾回收器串行垃圾回收器通过持有应用程序所有的线程进行工作。它为单

2017-06-05 13:37:10 515

原创 kafka jvm参数介绍

java -Xmx6G #设置JVM最大可用内存-Xms1G #设置JVM初始可用内存-server #Server模式-XX:+UseG1GC #G1垃圾收集器，用于服务器端、大内存、多CPU情景的垃圾收集器-XX:MaxGCPauseMillis=20 #设置最大GC停顿时间(GC pause time)指标(target). 这是一个软性指标(soft

2017-06-05 13:06:46 5174

把数字转换成Excel的英文列名

VBA编程时，有时候要把数字转换成Excel表格的字母列名。这个资料将提供这项功能，只要输入[1，256]之间的整数就可以得到相应列的列名。如 3为C,27为AA等!实现非常简单。欢迎参考！

2010-08-07

DEELX 正则表达式引擎（v1.2）

详细介绍 DEELX 支持的正则表达式语法。 DEELX 正则引擎全部采用模板 template 编写，可将 DEELX 用于 char, wchar_t 以及其他基类型，比如 unsigned char, int 等。但只能是简单数据类型，不可以是 struct 或者 union 等复合类型。

2008-12-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人