qq_45494908的博客

作业运行中的监控也可以有API自己开发。继承SparkListenerInterface，实现作业开始前、后等需要做的操作。 然后在SparkConf中set自定义的SparkListener监听器。Spark on Yarn 可以 client提交yarn，可以spark集群提交yarn。client模式提交的机器可以是集群外的。 集群内的话二者其实区别不大，但生产还是推荐cluster模式；自测可以client，方便查日志。spark-shell与spark-submit 区别。

Spark SQL与Hive on Spark 区别、SparkContext 与 SparkSession、Spark SQL 对接hive（spark-shell、spark-sql、thirftserver）

闭包广播变量、计数器、自定义累加器宽依赖、窄依赖Spark作业提交Spark 配置&参数监控/ Web UI 4040

-

scala 集合 List、Array、Tuple、Map、队列 Queue方法和函数的定义、高阶函数、柯里化 currying函数式编程 map、reduce、groupBy、（用scala写wc,可以用group做统计）、sortBy

Spark Core [01-04]Spark 基本概念linux安装和 spark-shell --master local[2] 启动idea依赖和代码RDD概念各种 transformations 和 actions持久化到cache、persist、jdbc写入到数据库

-

./build/mvn -Phadoop-3.2 -Pyarn -Dhadoop.version=3.2.2 -Phive -Phive-thriftserver -DskipTests clean package