- 博客(5)
- 资源 (18)
- 收藏
- 关注
转载 hive合并小文件
1. Map输入合并小文件对应参数:set mapred.max.split.size=256000000; #每个Map最大输入大小set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小 set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至
2017-04-21 20:17:36 2615
原创 saveAsTextFile很慢very slow
saveAsTextFile very slow问题表象:通过spark UI观察整个执行阶段开在saveAsTextFile阶段,很多task一直处于运行阶段,感觉很慢,程序是不是卡出了。初步判断:saveAsTextFile既然是卡在了这,肯定是IO瓶颈吧?以为其他阶段特别快呀分析:首先根据以往经验,saveAsTextFile应该是一个非常快速的操作。查看save的结果,只有1024M左右(为我的耐心点赞,为了看输出结果,
2017-04-21 19:54:06 4756
原创 Maven下载Jar包同时下载源文件和文档
http://www.blogjava.net/itspy/archive/2011/09/07/358233.htmlMaven下载Jar包同时下载源文件和文档示例:mvn eclipse:eclipse -DdownloadSources -DdownloadJavadocs 参考:http://stackoverflow.com/questions/
2017-04-20 22:26:05 2108
原创 一个“-”引发的血案
也许你永远遇不到这样的bug的,但是你要知道什么bug都有,所以不要惊讶!简化场景:拼接了这样一个字符串:1.2,2.3,0.4-flag(三个double值用逗号连接,和一个标志字符用“-”连接起来) | 吐槽:多么别致的字符串拼接技术如何使用的:使用“-”分割以上的字符串,根据最后一个标志字符确定时候要进行处理前面3个数值。 |吐槽:多么精致的处理逻辑
2017-04-19 17:51:22 453
原创 Eclipse: The declared package does not match the expected package
Eclipse: The declared package does not match the expected package
2017-04-06 17:55:29 5780
办公文档+wingdings2+wps打钩
2023-04-06
云南省最新五级行政区划json文件 2021年 国家统计局权威数据
2021-05-12
广东省最新五级行政区划json文件 2021年 国家统计局权威数据
2021-05-12
江苏省最新五级行政区划json文件 2021年 国家统计局权威数据
2021-05-12
上海市 最新五级行政区划json文件 2021年 国家统计局权威数据
2021-05-12
内蒙古自治区 最新五级行政区划json文件 2021年 国家统计局权威数据
2021-05-12
山西省最新五级行政区划json文件 2021年 国家统计局权威数据
2021-05-12
河北省最新五级行政区划json文件 2021年 国家统计局权威数据
2021-05-12
广西壮族自治区最新五级行政区划json文件 2021年 国家统计局权威数据
2021-03-10
浙江省最新五级行政区划json文件 2021年 国家统计局权威数据
2021-03-06
北京市最新五级行政区划json文件 2021年 国家统计局权威数据
2021-01-25
用java开发打印机界面_java窗口界面 课程设计
2021-01-12
Python-3.6.11rc1.tar
2020-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人