- 博客(3)
- 收藏
- 关注
RSS订阅原创 C3P0开发常用参数
##配置除user,password,minpoolsize,maxpoolsize的参数##[注意] 整数值不能有空格#连接设置driverClassName=com.mysql.jdbc.Driverurl=jdbc:mysql://127.0.0.1:3306/imooc?useUnicode=true&characterEncoding=utf-8username...
2018-08-27 23:49:01
609
原创 记一次Strom任务失败导致的大量重复数据
问题：大量的failed，导致storm大量重复数据。原因：spout的消息队列过大，bolt处理不过来，产生大量堆积。加上每条消息处理完成的最大默认时间是30S，如果30S没有处理完成就会认为失败。ack机制，不停的重复发送。解决：修改两个参数：topology.message.timeout.secs: 30topology.max.spout.pending:null ...
2018-08-26 23:52:50
710
原创 HIVE动态分区
使用分区是为了提高，对数据的查询，分析效率。一，动态分区hive有动态分区和静态分区，选用什么分区要根据是数据来决定。比如： 你有一份业务数据而且每天都有很多增量，那么怎么保证长时间积累下来的大量数据，对此就要用分区来提高查询。这是你的数据中有时间字段，那么你就可以按时间分区，此时开启动态分区载入数据，hive会帮你按照设置好的分区自动划分数据，而不需要你再像静态分区一样手动...
2018-08-12 00:00:57
1011
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人