spark
mei501501
这个作者很懒,什么都没留下…
展开
-
mac 单机版spark安装及测试
Spark的运行模式在正式安装Spark之前,先给大家介绍下Spark可以在哪几种模式下运行,主要有以下4种运行模式:1.local: 本地单进程模式,用于本地开发测试Spark代码。 2.standalone:分布式集群模式,Master-Worker架构,Master负责调度,Worker负责具体Task的执行。 3.on yarn/mesos:运行在yarn/mesos等资源管理...原创 2019-10-15 17:23:57 · 973 阅读 · 0 评论 -
用Apache Spark将数据写入ElasticSearch(spark-shell方式)
ES和spark版本:elaticsearch 6.8.2安装传送门:https://blog.csdn.net/mei501501/article/details/100866673spark-2.4.4-bin-hadoop2.7安装传送门:https://blog.csdn.net/mei501501/article/details/102565970首先,启动es后,s...原创 2019-10-15 16:46:06 · 2050 阅读 · 0 评论