- 博客(6)
- 收藏
- 关注
RSS订阅原创 pom
<?xml version="1.0" encoding="UTF-8"?>4.0.0com.cnSaprkCloud41.0-SNAPSHOTjar<hadoop.version>2.7.4</hadoop.version><scala.binary.version>2.11</scala.binary.version&g...
2019-05-31 11:48:22
93
原创 spark sql优化2
SparkSQL性能调整SparkSQL 优化1.广播JOIN表spark.sql.autoBroadcastJoinThreshold，默认10485760（10M）在内存够用的情况下提高其大小，可以将join中的较小的表广播出去，而不用进行网络数据传输.2.合理配置spark.sql.shuffle.partition设置shuffle并行度；3. 缓存表对于一条SQL语句中可能...
2019-03-14 10:05:41
525
原创 Spark SQL优化
1，聚合源数据：Spark Sql结果转化成RDD tuple（where条件为key, 结果为value）2，过滤导致倾斜的key：where过滤3，提高shuffle并行度：设置spark.sql.shuffle.partitions参数：默认是200，也就是shuffle默认reduse task 只有200个。sqlContext.setConf(“spark.sql.shuff...
2019-03-14 10:03:24
355
转载 中文简体繁体转换(Java)
Java中文简体繁体转换https://blog.csdn.net/qqqqq210/article/details/51356868zh2Hant.propertieshttps://blog.csdn.net/weixin_43725860/article/details/87183849zh2Hans.propertieshttps://blog.csdn.net/weixin_4...
2019-02-13 15:22:41
1447
转载 zh2Hans.properties
\u3473=\u3447\u380f=\u37c6\u3a5c=\u3a2b\u42b7=\u4336\u42d9=\u433a\u42fb=\u433e\u4308=\ud858\ude16\u477c=\u478d\u4a8f=\ud864\udffc\u4a97=\ud865\udc00\u4a98=\ud864\udfff\u4af4=\ud865\udd97\u...
2019-02-13 15:19:21
1603
转载 zh2Hant.properties
com/language/zh2Hant.properties\u3469=\u5138\u34e5=\u528f\u3509=\u529a\u358a=\u565a\u359e=\u558e\u36df=\ud845\udfb5\u36e0=\ud846\udc83\u36ff=\ud846\udc39\u37c6=\u380f\u39d1=\u649d\u39df=\u6...
2019-02-13 15:16:54
8466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人