![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
HeMJGaoMM
这个作者很懒,什么都没留下…
展开
-
配置支持Spark操作Hive表数据,使用Intellij
spark2版本使用SparkSession作为统一入口,所以第一步就是给SparkSession增加Hive支持: enableHiveSupport() val spark = SparkSession .builder() .appName("Spark Hive Example").master("local[*]") .enableHiveSuppor...原创 2019-01-15 14:28:53 · 818 阅读 · 0 评论 -
spark shell hive sql
import org.apache.spark.sql.hive.HiveContext val hiveContext = new HiveContext(sc) hiveContext.sql(“select * from …”)原创 2019-03-07 10:24:38 · 94 阅读 · 0 评论 -
spark性能优化 ----分区相关
本文参考了:https://www.jianshu.com/p/4b7d07e754fa 有以下几个参数: spark.default.parallelism:(默认的并发数) 在yarn模式下,spark.default.parallelism = max(所有executor使用的core总数, 2)。 举个例子:spark-submit --class geo --master yarn...转载 2019-03-26 14:34:02 · 422 阅读 · 0 评论 -
Spark Sql Read Parquet Files; Number of Partitions.
hive metastore 和 parquet 转化的方式通过 spark.sql.hive.convertMetastoreParquet 控制,默认为 true。 如果设置为 true ,会使用 org.apache.spark.sql.execution.FileSourceScanExec ,否则会使用 org.apache.spark.sql.hive.execution.HiveTa...原创 2019-04-18 10:18:31 · 451 阅读 · 1 评论