- 博客(81)
- 资源 (3)
- 收藏
- 关注
原创 StreamingFileSink fails due to truncating HDFS file failure
[FLINK-18592][Connectors/FileSystem] StreamingFileSink fails due to truncating我这里产生这个问题过程如下:环境描述:flink 12.2.2hdfs 3.1.1, 集群, 2 个 namenode, 8 个 datanode, 设置为 2 副本yarn 3.1.1fink on yarn 方式部署问题发生过程某个 DATANODE 挂掉/重启/负载过高(datanode 上部署了 HBASE, scan 时导
2022-02-15 16:41:12
2284
7
原创 flink keyby 分布不均匀问题
背景flink 从 kafka 读取数据, 经过 keyby, 然后使用 .timeWindow(Time.seconds(1)) 每秒处理一次数据, 为了根据并行度, 均匀的分布 到 flink 同一个窗口算子的不同的 subtask 上, key 使用了随机整数dataStream.map( new MapFunction<String, Tuple2<Integer, String>>() { @Override
2021-03-16 20:04:44
4923
原创 IntelliJ IDEA 常用配置
模板配置 Preferences -> Appearance & Behavior -> Appearance -> Theme选择 Darcula (黑色)文件编码修改 Preferences -> Editor -> File EncodingsGlobal Encoding 选择 UTF-8Project Encoding 选择 UTF-8Properties Files(*.p
2017-12-20 17:51:38
2869
原创 druid.io 集成 hadoop 问题解决 /hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework
druid.io 集成 hadoop 问题解决 /hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework
2017-07-06 11:08:01
4320
2
原创 airflow 解决安装问题 OSError: [Errno 2] No such file or directory
airflow 启动报错 OSError: [Errno 2] No such file or directory
2017-06-30 09:33:19
3965
原创 去掉IntelliJ IDEA 中 mybatis 对应的 xml 文件警告
IntelliJ IDEA 打开 mybatis 的 xml 文件时,对应的 xml 文件中 sql 语句背景色总是有黄色或绿色的背景色。提示(红圈处)上已经说明,需要配置在 IDEA 中配置 data
2017-03-30 12:45:16
42467
42
原创 nGrinder 的 Groovy 脚本使用指南(HTTP 请求详解)
请确定您已经了解了 nGrinder 的 Groovy 脚本结构:nGrinder 的 Groovy 脚本使用指南(Groovy 脚本结构) 在 nGrinder 上创建 Groovy 脚本时,会自动生成一个基础的脚本,让我们将其拆分说明import HTTPClient.Cookieimport HTTPClient.CookieModuleimport HTTPClient.HTTPRes
2017-03-14 16:57:01
8331
原创 nGrinder 的 Groovy 脚本使用指南(导入 Groovy Maven 工程到 IntelliJ)
打开 Intellij ,选择 “Check out from Version Control”, 点击 “Subversion” 点击 “+” 按钮,输入 Groovy 的 Maven 工程在 nGrinder 中的地址,点击 “OK”, 完成仓库创建 选择相应的仓库,点击“Check out”按钮,按提示选择相应的文件夹、和 JVM 版本,完成工程导入 运行 TestRunner 会报错j
2017-03-13 18:00:53
3449
翻译 nGrinder 的 Groovy 脚本使用指南(Groovy maven 结构)
当你创建脚本时,如果你选择使用 Groovy 脚本,除了 JUnit 方式测试外,它将类似于 Jython 脚本那样执行。如果你不仅想使用 Groovy 而且还要在 IDE 中执行 JUnit,同时又能简单的配置依赖,你可以选择先创建一个 Groovy 的 Maven 项目。 当你第一次运行 Groovy 的 Maven 项目时,可能需要一些时间运行测试。这是因为 Maven 项目需要从 Mave
2017-03-13 17:08:04
4191
翻译 nGrinder 的 Groovy 脚本使用指南(Groovy 脚本结构)
与Jython脚本不同,Groovy 脚本结构是基于JUnit的。原因是我们想尽可能的重用现有的 JUnit 经验。几个 IDE 已经集成了 JUnit 而且可以让用户直接运行测试用例。先来看一个基础的 Groovy 脚本模板import static net.grinder.script.Grinder.grinderimport static org.junit.Assert.*import
2017-03-13 15:10:59
6746
翻译 nGrinder 架构简介
nGrinder 架构简介 nGrinder 的 Groovy 脚本使用指南(Groovy 脚本结构) nGrinder 的 Groovy 脚本使用指南(Groovy maven 结构) nGrinder 的 Groovy 脚本使用指南(导入 Groovy Maven 工程到 IntelliJ) nGrinder 的 Groovy 脚本使用指南(HTTP 请求详解)nGrinderr(ver
2017-03-10 17:40:01
6600
原创 jedis 的 Unexpected end of stream 解决方案
jedis 的 Unexpected end of stream 解决方案redis服务端版本号:2.8.XJedis客户端版本号:2.8.1单线程、无并发操作Jedis单链接、JedisPool、ShardedJedisPool,无论使用哪一种方式对redis服务进行操作,均出现了Unexpected end of stream的问题。
2016-12-07 22:30:56
61188
2
原创 logback 中文手册
logback 常用配置详解(序)logback 简介logback 常用配置详解(一) and logback 常用配置详解(二)logback 常用配置详解(三) 配合着手册看以上配置系列文章,相信大家会理解更深 logback 中文手册此中文手册为官网手册中文版文档版本 0.1发布日期
2016-05-28 12:11:39
3574
原创 logback logback.xml常用配置详解(三) <filter>
详细整理了logback常用配置,不是官网手册的翻译版,而是使用总结,旨在更快更透彻的理解其配置logback 常用配置详解(序)logback 简介logback 常用配置详解(一) and logback 常用配置详解(二)logback 常用配置详解(三)logback 中文手册 (官网手册的翻译版,在这里向中文版译者-陈华,说声辛苦啦)
2016-05-28 08:01:54
984
原创 logback logback.xml常用配置详解(二)<appender>
logback 常用配置详解系列详细整理了logback常用配置,不是官网手册的翻译版,而是使用总结,旨在更快更透彻的理解其配置logback 常用配置详解(序)logback 简介logback 常用配置详解(一) and logback 常用配置详解(二)logback 常用配置详解(三)logback 中文手册 (官网手册的翻译
2016-05-28 07:54:25
1158
原创 logback常用配置详解(一)<configuration> and <logger>
logback logback.xml常用配置详解详细整理了logback常用配置, 不是官网手册的翻译版,而是使用总结,旨在更快更透彻的理解其配置 logback 常用配置详解(序)logback 简介 logback 常用配置详解(一)<configuration> and <logger> logback 常用配置详解(二)<appender> logback 常用配置详解(三)<f
2016-05-28 07:49:17
2787
原创 logback 常用配置详解(序)logback 简介
logback 常用配置详解系列详细整理了logback常用配置, 不是官网手册的翻译版,而是使用总结,旨在更快更透彻的理解其配置 logback 常用配置详解(序)logback 简介 logback 常用配置详解(一)<configuration> and <logger> logback 常用配置详解(二)<appender> logback 常用配置详解(三)<filter> l
2016-05-28 07:23:40
882
原创 Java 加密解密之对称加密算法PBE
Java加密解密系列Java 加密解密基础Java byte数组与十六进制字符串互转Java BASE64加密解密Java 加密解密之消息摘要算法(MD5 SHA MAC)Java 加密解密之对称加密算法DESJava 加密解密之对称加密算法DESedeJava 加密解密之对称加密算法AESJava 加密解密之对称加密算法PBE
2016-05-27 23:38:18
1069
原创 Java 加密解密之对称加密算法AES
Java 加密解密基础 Java byte数组与十六进制字符串互转 Java BASE64加密解密 Java 加密解密之消息摘要算法(MD5 SHA MAC) Java 加密解密之对称加密算法DES Java 加密解密之对称加密算法DESede Java 加密解密之对称加密算法AES
2016-05-27 23:35:44
1629
原创 Java 加密解密之对称加密算法DESede
Java 加密解密基础 Java byte数组与十六进制字符串互转 Java BASE64加密解密 Java 加密解密之消息摘要算法(MD5 SHA MAC) Java 加密解密之对称加密算法DES Java 加密解密之对称加密算法DESede Java 加密解密之对称加密算法A
2016-05-27 23:33:06
4451
3
原创 Java 加密解密之对称加密算法DES
博客分类: Java Javajava des Java 加密解密基础 Java byte数组与十六进制字符串互转 Java BASE64加密解密 Java 加密解密之消息摘要算法(MD5 SHA MAC) Java 加密解密之对称加密算法DES Java 加密解密之对称加密算法DESede Java 加密解密之对称加密算法AES Java 加密解密之对称加密算法PBEJava 加
2016-05-27 23:31:12
1526
原创 Java 加密解密之消息摘要算法(MD5 SHA MAC)
博客分类: Java Javajava md5java shajava mac Java 加密解密基础 Java byte数组与十六进制字符串互转 Java BASE64加密解密 Java 加密解密之消息摘要算法(MD5 SHA MAC) Java 加密解密之对称加密算法DES Java 加密解密之对称加密算法DESede Java 加密解密之对称加密算法AES Java 加密解密
2016-05-27 23:28:09
4157
原创 Java byte数组与十六进制字符串互转
Java 加密解密基础 Java byte数组与十六进制字符串互转 Java BASE64加密解密 Java 加密解密之消息摘要算法(MD5 SHA MAC) Java 加密解密之对称加密算法DES Java 加密解密之对称加密算法DESede Java 加密解密之对称加密算法AES Java 加密解密之对称加密算法PBEJava byte数组与十六进制字符串互转Java中byte用二
2016-05-27 23:23:26
2321
原创 Java 加密解密基础
Java 加密解密基础 Java byte数组与十六进制字符串互转 Java BASE64加密解密 Java 加密解密之消息摘要算法(MD5 SHA MAC) Java 加密解密之对称加密算法DES Java 加密解密之对称加密算法DESede Java 加密解密之对称加密算法AES Java 加密解密之对称加密算法PBEJava 加密解密基础密码学是研究编制密码和破译密码的技术科
2016-05-27 23:20:51
1093
原创 Java BASE64加密解密
Java加密解密系列Java 加密解密基础 Java byte数组与十六进制字符串互转 Java BASE64加密解密 Java 加密解密之消息摘要算法(MD5 SHA MAC) Java 加密解密之对称加密算法DES Java 加密解密之对称加密算法DESede Java 加密解密之对称加密算法AES Java 加密解密之对称加密算法PBEJava BASE64加密解密Base64是
2016-05-27 23:02:22
3457
原创 相对准确的java程序性能测试实现方案
避免垃圾回收对结果造成的误差方案一: JVM启动时使用-verbose:gc观察垃圾回收动作,确认整个测试期间垃圾回收根本不会执行方案二: 运行足够的次数和时间,这样测试程序能够充分的反应出运行期间分配与垃圾回收的开销(推荐)。避免动态编译对记过造成的误差方案一: 让测试程序长时间运行,让编译过程和解释执行仅仅占总体运行时间的一小部分。方案二: 让测试代码“热身”
2016-05-27 22:36:54
4425
原创 CMPP,SGIP,SMGP 长短信 消息头
移动CMPP3:Msg_Fmt = 8 ; Tp_Udhi = 1;可采用6字节协议头,也可采用7字节协议头,实测都通过。 6字节协议头: MsgContent的前三个字节为:0x05, 0x00, 0x03(0x05表示后面还有5字节,0x03表示后面还有3字节)第四个字节为批号,合成同条长短信的小短信填一样的值即可。(同时给同个号码发多条长短信的要分不同长短信填写);第五个
2016-05-27 22:26:29
6046
2
原创 《深入理解Java虚拟机》读后总结 (四)JVM垃圾回收
《深入理解Java虚拟机》读后总结(一)Sun HotSpot JVM内存模型(二)Sun HotSpot JVM内存分配(三)Sun HotSpot JVM内存监控(四)Sun HotSpot JVM垃圾回收
2016-05-27 09:06:18
616
原创 《深入理解Java虚拟机》读后总结 (三)JVM内存监控
《深入理解Java虚拟机》读后总结(一)Sun HotSpot JVM内存模型(二)Sun HotSpot JVM内存分配(三)Sun HotSpot JVM内存监控(四)Sun HotSpot JVM垃圾回收
2016-05-27 08:47:23
691
原创 《深入理解Java虚拟机》读后总结 (二)JVM内存分配
《深入理解Java虚拟机》读后总结(一)Sun HotSpot JVM内存模型(二)Sun HotSpot JVM内存分配(三)Sun HotSpot JVM内存监控(四)Sun HotSpot JVM垃圾回收
2016-05-27 00:01:05
906
原创 《深入理解Java虚拟机》读后总结 (一)JVM内存模型
《深入理解Java虚拟机》读后总结(一)Sun HotSpot JVM内存模型(二)Sun HotSpot JVM内存分配(三)Sun HotSpot JVM内存监控(四)Sun HotSpot JVM垃圾回收
2016-05-26 22:23:22
892
原创 hlConsole - 手机网页JS日志查看工具
转载:http://console.hongliang.orghlConsole - 手机网页JS日志查看工具前端的同学都知道,在开发PC页面的时候,经常用到F12的Console,来查看日志、调试、定位问题。但是在手机环境下,看不到Console,最笨的方法就是用alert代替,但是调试起来十分的不方便。hlConsole,是一款网页版的Console,可以方便的看到手机网页里,j...
2016-05-23 14:55:19
380
原创 (转载)让你变得更加高效的一些Java工具和类库
Java受到全球百万计开发者的追捧,已经演变为一门出色的编程语言。最终,这门语言随着技术的变化,不断的被改善以迎合变化的市场需求。无论你是否拥有一家科技公司,软件已经成为几乎每一个企业不可或缺的一部分,为了吸引你潜在的顾客,你应该交付给客户一个技术上有创新的产品。那么,Java能提供这样的平台帮你实现这一技术创新。Java贡献者们一直保持着大幅度的更新,以提供最新最强大的功能。最近发布的...
2015-02-02 14:27:17
195
原创 hadoop eclipse plugin 编译安装,问题总结
插件名称:hadoop2x-eclipse-plugin插件地址:https://github.com/winghc/hadoop2x-eclipse-plugin 1.下载并解压hadoop2.x,下载地址http://hadoop.apache.org/releases.html#Download(我下载的是编译好的包) 2.下载并解压eclipse(我的是4.4.1版本,其他的版本...
2014-12-01 14:03:42
374
原创 Linux集群监控常用命令-备忘
linux常用命令备忘系列Linux日志分析常用命令-备忘Linux集群监控常用命令-备忘 集群监控常用命令: 1.load averagetopuptime2.CPU利用率top 1多核CPU查看Shift+H 用线程查看-p 指定查看的进程top | grep Cpumpstat -p ALL3.磁盘剩余空间df-h...
2014-11-14 11:23:49
383
Linux日志分析常用命令-备忘
linux常用命令备忘系列Linux日志分析常用命令-备忘Linux集群监控常用命令-备忘 日志分析常用命令: 1.查看文件内容cat -n 显示行号2.分页显示moreEnter 显示下一行空格 显示下一页F 显示下一屏B 显示上一屏less/get 查询"get"字符串并高亮显示3.显示文件尾tail-f 不退出...
2014-11-14 11:16:09
294
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人