大数据
大霖技术进阶
Keep Study,Keep Coding
展开
-
StructruedStreaming 使用foreach落地数据到mysql中 代码示例
package com.itcast.sql import java.sql.{Connection, DriverManager, Statement} import org.apache.spark.sql.{ForeachWriter, Row, SparkSession} object StructruedForeach { def main(args: Array[String]): Unit = { val spark = SparkSession.b.原创 2021-06-06 00:13:07 · 313 阅读 · 1 评论 -
StructredStreaming读取HDFS文件夹示例
package com.itcast.sqlimport org.apache.spark.sql.types.{DataType, DoubleType, IntegerType, StringType, StructField, StructType}import org.apache.spark.sql.{DataFrame, SparkSession}object StructredStreaming { def main(args: Array[String]): Unit = {原创 2021-06-05 23:21:23 · 185 阅读 · 0 评论 -
java.lang.NoSuchMethodError: org.apache.spark.rpc.RpcEndpointRef.askWithRetry
报错java.lang.NoSuchMethodError: org.apache.spark.rpc.RpcEndpointRef.askWithRetry(Ljava/lang/Object;Lscala/reflect/ClassTag;)Ljava/lang/Object;解决办法:spark-core版本冲突 把spark-core_2.11 版本换成2.1.0org.apache.sparkspark-core_2.112.1.0...原创 2021-04-12 18:30:34 · 311 阅读 · 0 评论 -
Scala声明变量
声明变量我们将来每一天编写scala程序都会定义变量。那scala语言如何定义变量呢?语法格式Java变量定义int a = 0;在scala中,可以使用val或者var来定义变量,语法格式如下:val/var 变量标识:变量类型 = 初始值其中val定义的是不可重新赋值的变量var定义的是可重新赋值的变量[!NOTE]scala中定义变量类型写在变量名后面scala的语句最后不需要添加分号在解释器中定义一个变量示例:定义一个变量保存一个人的名字"t原创 2021-04-02 22:44:53 · 326 阅读 · 0 评论 -
scala解释器
scala解释器后续我们会使用scala解释器来学习scala基本语法,scala解释器像Linux命令一样,执行一条代码,马上就可以让我们看到执行结果,用来测试比较方便。我们接下来学习:启动scala解释器在scala解释器中执行scala代码退出scala解释器启动scala解释器要启动scala解释器,只需要以下几步:按住windows键 + r输入scala即可[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-anDnlXOU-161原创 2021-04-02 22:44:11 · 52 阅读 · 0 评论 -
Scala开发环境安装
开发环境安装学习如何编写scala代码之前,需要先安装scala编译器以及开发工具Java程序编译执行流程[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AtYHybyL-1617374549445)(assets/1556551819121.png)]Scala程序编译执行流程[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uGrbYis9-1617374549449)(assets/1556551904384.png)]scala程原创 2021-04-02 22:43:17 · 71 阅读 · 0 评论