SPARK
文章平均质量分 84
Simonhans
月黑见渔灯,孤光一点萤。
展开
-
Spark介绍及安装
sparkSpark简述**SparkCore**1.RDD概念RDD的五大特性:RDD理解图注意2.Spark代码流程3. Transformations转换算子概念Transformation类算子:4. Action行动算子概念Action类算子5.控制算子概念cachepersist**cache和persist的注意事项:**checkpointcheckpoint 的执行原理:优化集群搭建以及测试搭建standalone注意:yarn测试Standalone提交命令:YARN提交命令: Sp原创 2021-03-20 14:35:20 · 342 阅读 · 0 评论 -
Spark On Hive
Spark On Hive 配置 1.将部署好的hive的路径下的conf/hive-site.xml复制到spark安装路径下的conf/ 2.将部署好的hive的路径下的lib/mysql驱动包,我的是(mysql-connector-java-8.0.15.jar)拷贝到spark安装路径下的jars/ 3.启动Hive的metastore服务 hive --service metastore 4.启动ZooKeeper集群,启动HDFS集群 5.启动spark-shell bin/spark-sh原创 2021-03-20 14:27:20 · 879 阅读 · 0 评论