Spark
文章平均质量分 82
黑色白色5
这个作者很懒,什么都没留下…
展开
-
Windows下Pycharm运行SparkSQL的相关配置
1. 所需的配置文件完整配置的安装包如下图,可在此提取 ,提取码为c7tv。2. JDK环境变量配置点击我的电脑(/计算机)-属性-高级系统设置-环境变量,点击 新建,添加:(上图变量值为“%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar”。)在path中添加路径:%JAVA_HOME%\bin; (路径之间用分号;隔开)以上设置成功后,打...原创 2019-07-03 17:30:17 · 675 阅读 · 1 评论 -
IDEA创建Spark程序,并本地运行
1. 所需的配置文件配置的安装包如下图,可在此提取 ,提取码为c7tv。2. 配置JDK与Scala的环境变量JDK环境变量的配置过程参考这里 。Scala环境变量的配置过程:并在path中添加路径:%SCALA_HOME%\bin; (路径之间用分号;隔开)。3. IDEA创建Scala项目进行测试4. IDEA创建maven项目进行测试安装好IntelliJ IDEA后,创建...原创 2019-07-19 16:20:03 · 5300 阅读 · 0 评论 -
将IDEA创建的Spark程序打jar包,并上传集群运行
1. 打包过程此内容是接着上一篇 的,需将WordCount.Scala程序稍作修改,并将“.setMaster(“local”)”改为备注。package abcimport org.apache.spark.{SparkContext, SparkConf}object WordCount { def main(args: Array[String]) { /** ...原创 2019-07-19 17:29:12 · 344 阅读 · 0 评论