![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
vickyhwj
这个作者很懒,什么都没留下…
展开
-
MapReduce使用TableMapper读取HBase表自定义设置mapper任务数的方法
<main><script type="text/javascript"> var blogSensitiveWords = ""; function getQueryString(name) { var reg = new RegExp("(^|&)" + name + "=([^&]*)(&|$)"); //构造一个含有目标参数的正则表达式对象 var r = window.location.search...原创 2021-03-04 12:53:18 · 231 阅读 · 1 评论 -
Spark自定输出文件名的坑
将a,1;b,2;c,3;a2........分成3个文件a.txt,b.txt,c.txt,并且内部有序重写generateFileNameForKeyValuepackage save;import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat;/** * 自定义文件输出名 */public class MyMultipleTextOutputFormat extends MultipleTextOutputForm.原创 2020-12-11 23:36:32 · 466 阅读 · 2 评论 -
2020-11-27
对2亿个数排序,取中位数新生区设为50m时/usr/local/spark/bin/spark-submit --master yarn --deploy-mode client --num-executors=2 --executor-cores=12 --executor-memory 6g --conf "spark.executor.extraJavaOptions=-Xmn50M -XX:SurvivorRatio=8 -verbose:gc -XX:+PrintGCDetai原创 2020-11-27 12:33:05 · 73 阅读 · 0 评论