- 博客(12)
- 收藏
- 关注
RSS订阅原创 Flink程序SimpleDateFormat线程不安全
SimpleDateFormat 线程不安全，使用 joda-time 实现的DateTime工具类参考链接：https://blog.csdn.net/lingeio/article/details/1073079241.原因private val sdf1: SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS")private val sdf2: SimpleDateFormat = new SimpleDateFor
2022-03-30 14:30:17
1878
原创 mysql实现无则插入有则在原值累加
mysql实现无则插入有则在原值累加步骤1：添加联合唯一索引，否则插入或更新mysql数据无效ALTER TABLE current_bus_pv_date ADD UNIQUE (REPORT_DATE,BUS_TYPE,BUS_CODE);步骤2：实现无则插入有则在原值累加INSERT INTO current_bus_pv_date(REPORT_DATE, BUS_TYPE, BUS_CODE, BUS_SUCC_CNT, BUS_CNT) VALUES(?, ?, ?, ?, ?) ON
2022-03-29 15:23:39
1378
原创 2021-02-23-java json和map互转 保留null值的解决办法
1.json字符串转mapMap<String, Object> map= (Map<String, Object>) JSONUtils.parse(a);造成问题：java String index out of range: -2147483647解决方案：Map<String, Object> map = JSON.parseObject(a,Map.class);2.map转jsonString jsonStr = JSON.toJSONString(
2021-06-08 09:33:01
980
1
原创 hive合并问题：The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions
hive合并数据出现：The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions解决方案：https://www.cnblogs.com/dailidong/p/7571173.html
2021-05-02 22:02:13
541
原创 MapReduce On Yarn 任务
MapReduce On Yarn 任务遇到：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask原因：yarn资源不足该错误是YARN的虚拟内存计算方式导致，上例中用户程序申请的内存为1Gb，YARN根据此值乘以一个比例（默认为2.1）得出申请的虚拟内存的值，当YARN计算的用户程序所需虚拟内存值大于计算出来的值时，就会报出以上错误。调节比例值可以解决该问题。具体参数为：ya
2021-04-23 18:30:09
101
转载 idea 中 maven pom不自动更新的5种解决方法
参考连接：https://blog.csdn.net/weixin_44504146/article/details/99444067
2021-04-22 17:16:04
1350
原创 jar包中如何读取项目中Resource下的文件
jar包中如何读取项目中Resource下的文件解决方案：https://www.cnblogs.com/blogtech/p/11151780.htmlhttps://www.jianshu.com/p/97cdf3986fa4https://juejin.cn/post/6844904135066648584Jenkins依赖包报错：解决方案：https://mvnrepository.com/artifact/tw.edu.ntu.csie/libsvm/3.17...
2021-04-20 15:10:03
489
原创 Java使用easyexcel解析excel文件
1.Java使用easyexcel 解析excel文件遇到的问题：File type error，io must be available markSupported,you can do like this <code> new BufferedInputStream(new FileInputStream(\"/xxxx\"))</code> "com.alibaba.excel.exception.ExcelAnalysisException: File type erro
2021-02-04 16:15:25
1631
2
原创 hive函数总结
hive函数总结1.时间函数（1）创建日期维度表WITH dates AS( SELECT DATE_SUB(DATE_ADD("${start_date}", a.pos),0) AS d FROM (SELECT POSEXPLODE(SPLIT(REPEAT("o", DATEDIFF("${end_date}", "${start_date}")), "o"))) a)select * from dates 参考：https://blog.csdn.net/
2021-01-14 12:21:01
278
原创 spark streaming消费kafka数据到redis redis连接池放在外面获取不到
spark streaming消费kafka数据到redis：redis连接池放在外面获取不到问题：将redis放到foreach或者map中，遇到问题redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool解决方案：使用广播变量，将redis连接池广播到executor端。streamingContext.sparkContext.broadcast(RedisUt
2021-01-14 12:19:37
241
原创 安装cdh6出现agent安装失败问题
@TOCcdh6出现agent安装失败问题。欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写...
2019-04-17 11:30:11
2525
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人