- 博客(7)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
转载 spark报错:java.io.IOException: Filesystem closed
1.问题描述往集群提交任务的时候,需要在hdfs上面读取一个资源文件。在读取该资源文件的时候,代码报错出如下:2021-01-29 09:48:29,023 ERROR scheduler.AsyncEventQueue: Listener EventLoggingListener threw an exceptionjava.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSC
2021-01-29 10:19:24 4351 1
转载 scala spark 创建DataFrame的五种方式
scala spark 创建DataFrame的多种方式1. 通过RDD[Row]和StructType创建import org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}import org.apache.spark.sql.{DataFrame,
2021-01-28 18:09:23 6746
转载 Spark笔记之使用UDF(User Define Function)
Spark笔记之使用UDF(User Define Function)目录1、UDF介绍2、使用UDF2.1 在SQL语句中使用UDF2.2 直接对列应用UDF(脱离sql)3、完整代码1、UDF介绍UDF(User Define Function),即用户自定义函数,Spark的官方文档中没有对UDF做过多介绍,猜想可能是认为比较简单吧。几乎所有sql数据库的实现都为用户提供了扩展接口来增强sql语句的处理能力,这些扩展称之为UDXXX,即用户定义(User Defin
2021-01-25 17:05:06 5493
转载 Spark DataFrame 使用UDF实现UDAF的一种方法
Spark DataFrame 使用UDF实现UDAF的一种方法1、Background当我们使用Spark Dataframe的时候常常需要进行group by操作,然后针对这一个group算出一个结果来。即所谓的聚合操作。然而 Spark提供的aggregation函数太少,常常不能满足我们的需要,怎么办呢?Spark 贴心的提供了UDAF(User-defined aggregate function),听起来不错。但是,这个函数实现起来太复杂,反正我是看的晕晕乎乎,难受的很。反倒是
2021-01-25 16:47:20 1062 1
转载 Scala中isInstanceOf 和 asInstanceOf的区别
Scala中isInstanceOf 和 asInstanceOf的区别如果实例化了子类的对象,但是将其赋予了父类类型的变量,在后续的过程中,又需要将父类类型的变量转换为子类类型的变量,应该如何做?一、scala中的isInstanceOf和asInstanceOf首先,需要使用isInstanceOf 判断对象是否为指定类的对象,如果是的话,则可以使用 asInstanceOf 将对象转换为指定类型; 注意:p.isInstanceOf[XX] 判断 p 是否为 XX 对象的实例;p.asI
2021-01-24 21:24:09 793
原创 spark计算两个DataFrame的差集、交集、合集
spark计算两个DataFrame的差集、交集、合集闲话不说,直接上代码和结果import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{SQLContext, SparkSession}/** * @class DataFrameFun * @author yyz * @date 2021/01/24 20:
2021-01-24 21:17:35 6629
原创 Spark SQL中rdd转换成DataFrame的五种方式
Spark SQL中生成DataFrame的五种方式以前公司用的是spark-core,但是换工作后用的多是spark-sql,spark-dataframe。最近学习了很多spark-dataframe,在此做一个有spark经验的spark dataframe快速入门的教程。方式一、定义一个case class类,将其作为RDD中的存储类型,然后导包import spark.implicts._ 最后直接调用RDD的方法即:toDF方法即可生成DataFrame/** *
2021-01-24 18:07:27 3076
HelloUDF.zip
2019-10-11
MacDown使用小例子
2018-05-23
使用指针,进一步熟悉链表操作,实现添加,删除,修改,查找,排序等功能
2012-08-08
运算符重载和函数重载
2012-08-08
停车场管理系统
2012-08-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人