ImezZ

Executor heartbeat timed out after 158816 ms

一、数据准备，json文件项目处新建people.json文件创建DataFrameval df = spark.read.json("input/people.json")二、DataFrame上的转化操作1、where操作df.where("name='Andy'").show()|age|name|+---+----+| 30|Andy|2、查询操作（1）select 获取指定字段值df.select("name","age").show().

一、数据准备，json文件项目处新建people.json文件{"name":"Michael"}{"name":"Andy", "age":30}{"name":"Justin", "age":19}创建DataFrameval df = spark.read.json("input/people.json")二、DataFrame上的行动操作行动操作有：show、collect、collectAsList、describe、first、 head、 take、 t..

一、SparkSessionSpark SQL模块的编程主入口点是SparkSession，SparkSession对象不仅为用户提供了创建DataFrame对象、 读取外部数据源并转化为DataFrame对象以及执行sql查询的API， 还负责记录着用户希望Spark应用如何在Spark集群运行的控制、 调优参数， 是Spark SQL的上下文环境， 是运行的基础。1、创建SparkSession会话 //创建sparkSession val spark = S...

saprk sql查询mysql的两种方法：package com.spark.testimport org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.SaveModeimport java.util.Propertiesimport java.util.Mapimport java.util.HashMapobject MysqlDemo { def main(args: Array[String]): Uni

一、场景描述用spark sql计算业务逻辑，将计算结果插入hive，并将计算任务成功是否的日志插入到mysql。二、报错信息spark sql计算业务逻辑，将计算结果插入hive，这步运算成功。计算任务成功是否的日志插入到mysql这步运行失败。报错信息如下：三、解决问题添加加载驱动代码：Class.forName("com.mysql.cj.jdbc.Driver")四、代码展示object SqlUtils { /** * 获取连接 */...

记录一下spark sql远程连接hive，进行sql操作的过程。1、把远程端的hive-site.xml文件放在idea的resources目录下注意这里要改成远程要访问的ip地址2、引入mysql驱动包，因为spark sql其实是访问的是存储hive元数据的库，我的是mysqlcrt+alt+shift+s打开导包界面，点击“+” > Library > Java 选择mysql驱动包如果没有mysql驱动包会报这样的错误：java.lang.Runti

截取字符串(1)、##和%%的使用假设我们定义了一个变量为：file=/dir1/dir2/dir3/my.file.txt可以用${ }分别替换得到不同的值：${file#*/}：删掉第一个/及其左边的字符串：dir1/dir2/dir3/my.file.txt${file##*/}：删掉最后一个/及其左边的字符串：my.file.txt${file#*.}：删掉第一个.及其左边的字符串：file.txt${file##*.}：删掉最后一个.及其左边的字符串：txt${f