Java启动sparksql,sparksql系列(一)环境搭建

一:JDK环境搭建

其中重要的就是两个安装路径JDK路径和JRE路径,三个环境变量:JAVA_HOME、PATH、CLASSPATH

我本地的是   JDK路径(D:\JAVA\JDK\)      JRE路径(D:\JAVA\JRE)

JAVA_HOME(D:\JAVA\JDK)

PATH(%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;)

CLASSPATH(.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;)

验证方案:java -version

二:SCALA环境搭建

下载后,解压即可。配置一个环境变量即可。

重要环境变量,加上即可:SCALA_HOME(D:\JAVA\scala)      PATH(%SCALA_HOME%\bin;%SCALA_HOME%\jre\bin;)

验证方法:scala -version

三:hadoop环境搭建

下载后,解压即可。配置两个环境变量即可。

HADOOP_HOME(D:\JAVA\hadoop)      PATH($HADOOP_HOME/bin;)

其中需要将bin下面的东西替换成window版本,因为是window版本。上面链接中的已经替换过。

四:运行的jar包

spark 解压的路径中jars目录中的东西,添加进IDE的classpath就行了

五:IDE解压开就行

打开后新建一个scala项目。和JAVA的IDE操作一模一样,在此不详细描述。

六:sparksql 你好,世界

spark 解压的路径中jars目录中的东西,添加进IDE的classpath

import java.util.Arrays

import org.apache.spark.SparkConf

import org.apache.spark.api.java.JavaSparkContext

import org.apache.spark.sql.{DataFrame, Row, SparkSession, functions}

import org.apache.spark.sql.functions.{col, countDistinct, desc, length, row_number, sum, trim, when,count}

import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType}

import org.apache.spark.sql.expressions.Window

import org.apache.spark.storage.StorageLevel

import org.apache.spark.sql.SaveMode

object WordCount {

def main(args: Array[String]): Unit = {

System.setProperty("hadoop.home.dir", "D:\\JAVA\\hadoop");

val sparkSession= SparkSession.builder().master("local").appName("AppName").getOrCreate()

val javasc = new JavaSparkContext(sparkSession.sparkContext)

val nameRDD = javasc.parallelize(Arrays.asList("{'name':'wangwu','age':'18','vip':'t'}",

"{'name':'sunliu','age':'19','vip':'t'}","{'name':'zhangsan','age':'18','vip':'f'}"));

val namedf = sparkSession.read.json(nameRDD)

namedf.select(col("name")).show(100)

}

}

标签:JAVA,org,sql,sparksql,import,apache,系列,spark,搭建

来源: https://www.cnblogs.com/wuxiaolong4/p/11668053.html

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
©️2021 CSDN 皮肤主题: 1024 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值