一条咸鱼的博客

在已经启动spark master（worker）的机器上再启动master，提示错误：org.apache.spark.deploy.worker.Worker running as process XXXXX. Stop it first.根据抛出错误的源码，可得解决方法：export SPARK_IDENT_STRING=foo （默认为用户名， woker节点同样需要设置才可匹配）...

sql语句中cache //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") //取消缓存 sqlContext.sql("UNCACHE TABLE activi...

1 spark-sql的broadcast join需要先判断小表的size是否小于spark.sql.autoBroadcastJoinThreshold设定的值（byte）.2 在spark中size的估算表示为statistics类，仅对hive relation 有效，因为其最初是从hive元数据库中读取所需的统计值的.因此对于jdbc relation等来说，无法触发broadcast...