自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

helloxiaozhe的博客

信者通达,数据为王,自强不息,解码未来——数据码农宣言

  • 博客(7)
  • 资源 (5)
  • 问答 (1)
  • 收藏
  • 关注

转载 spark报错:java.io.IOException: Filesystem closed

1.问题描述往集群提交任务的时候,需要在hdfs上面读取一个资源文件。在读取该资源文件的时候,代码报错出如下:2021-01-29 09:48:29,023 ERROR scheduler.AsyncEventQueue: Listener EventLoggingListener threw an exceptionjava.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSC

2021-01-29 10:19:24 4351 1

转载 scala spark 创建DataFrame的五种方式

scala spark 创建DataFrame的多种方式1. 通过RDD[Row]和StructType创建import org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}import org.apache.spark.sql.{DataFrame,

2021-01-28 18:09:23 6746

转载 Spark笔记之使用UDF(User Define Function)

Spark笔记之使用UDF(User Define Function)目录1、UDF介绍2、使用UDF2.1 在SQL语句中使用UDF2.2 直接对列应用UDF(脱离sql)3、完整代码1、UDF介绍UDF(User Define Function),即用户自定义函数,Spark的官方文档中没有对UDF做过多介绍,猜想可能是认为比较简单吧。几乎所有sql数据库的实现都为用户提供了扩展接口来增强sql语句的处理能力,这些扩展称之为UDXXX,即用户定义(User Defin

2021-01-25 17:05:06 5493

转载 Spark DataFrame 使用UDF实现UDAF的一种方法

Spark DataFrame 使用UDF实现UDAF的一种方法1、Background当我们使用Spark Dataframe的时候常常需要进行group by操作,然后针对这一个group算出一个结果来。即所谓的聚合操作。然而 Spark提供的aggregation函数太少,常常不能满足我们的需要,怎么办呢?Spark 贴心的提供了UDAF(User-defined aggregate function),听起来不错。但是,这个函数实现起来太复杂,反正我是看的晕晕乎乎,难受的很。反倒是

2021-01-25 16:47:20 1062 1

转载 Scala中isInstanceOf 和 asInstanceOf的区别

Scala中isInstanceOf 和 asInstanceOf的区别如果实例化了子类的对象,但是将其赋予了父类类型的变量,在后续的过程中,又需要将父类类型的变量转换为子类类型的变量,应该如何做?一、scala中的isInstanceOf和asInstanceOf首先,需要使用isInstanceOf 判断对象是否为指定类的对象,如果是的话,则可以使用 asInstanceOf 将对象转换为指定类型; 注意:p.isInstanceOf[XX] 判断 p 是否为 XX 对象的实例;p.asI

2021-01-24 21:24:09 793

原创 spark计算两个DataFrame的差集、交集、合集

spark计算两个DataFrame的差集、交集、合集闲话不说,直接上代码和结果import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{SQLContext, SparkSession}/** * @class DataFrameFun * @author yyz * @date 2021/01/24 20:

2021-01-24 21:17:35 6629

原创 Spark SQL中rdd转换成DataFrame的五种方式

Spark SQL中生成DataFrame的五种方式以前公司用的是spark-core,但是换工作后用的多是spark-sql,spark-dataframe。最近学习了很多spark-dataframe,在此做一个有spark经验的spark dataframe快速入门的教程。方式一、定义一个case class类,将其作为RDD中的存储类型,然后导包import spark.implicts._ 最后直接调用RDD的方法即:toDF方法即可生成DataFrame/** *

2021-01-24 18:07:27 3076

HelloUDF.zip

Hive 自定义函数UDF开发手把手教程—— 创建临时函数和永久函数代码,具体创建过程参考https://blog.csdn.net/helloxiaozhe/article/details/102498567

2019-10-11

MacDown使用小例子

MacDown使用操作例子——`MarkDown` 是一种 **轻量级的标记语言** , 可以使用普通文本编辑器编写的语言。通过简单的标记语法,使普通的文本具有一定的格式。 `MarkDown` 的优点在于,它用简洁的语法代替了排版。而不像一般我们用的处理软件 Word 或 Pages 有大量的排版、字体设置。它使我们专注于内容的编写。

2018-05-23

使用指针,进一步熟悉链表操作,实现添加,删除,修改,查找,排序等功能

通过使用指针,进一步熟悉链表操作,实现添加,删除,修改,查找,排序等功能。 我的课题理解: 我把课题定位在学生信息管理系统:创建一个带头结点学生链表,用菜单的形式实现增删改查功能外,用采用冒泡排序实现按学生成绩由高到低排序功能,同时又实现用户登陆,用户注册验证,以及一屏连续向用户展示功能。 目录: 程序代码实现部分: p1----p14 实验结果部分: P15---P20 实验中遇到问题及解决方法: P21---P25 实验心得: P26

2012-08-08

运算符重载和函数重载

练习对字符串的常用操作,进而加深对类的多态性的理解: 如运算符重载和函数重载 字符串连接,+=运算符重载 求子串: 左边几个字符,,, Left(int nCount) 右边几个,, Right(int nCount) 某个位置开始的几个字符 Mid(int nPos,int nCout) 2..进一步熟悉掌握对类的构造函数重载,拷贝构造的使用 目录: 程序代码实现部分: p2----p6 实验结果部分: P7 实验中遇到问题及解决方法: P7----P9 实验心得: P9

2012-08-08

停车场管理系统

本次课题描述: (1) 有一个两层的停车场, 每层有6个车位, 当第一层车停满后才允许使用第二层. (停车场可用一个二维数组实现, 每个数组元素存放一个车牌号 ) 每辆车的信息包括车牌号、 层号、 车位号、停车时间共4项, 其中停车时间按分钟计算 。 (2) 假设停车场初始状态为第一层已经停有4辆车, 其车位号依次为1—4 , 停车时间依次为20, 15, 10 , 5 . 即先将这四辆车的信息存入文件”car.txt”中( 数组的对应元素也要进行赋值 ) 。 停车操作:当一辆车进入停车场时, 先输入其车牌号, 再为它分配一个层号和一个车位号, 停车时间设为5 , 最后将新停入的汽车的信息添加文件”car.txt”中, 并将在此之前的所有车的停车时间加5。 (3) 收费管理(取车): 当有车离开时, 输入其车牌号, 先按其停车时间计算费用, 每5分钟0.2元. (停车费用可设置一个变量进行保存), 同时从文件”car.txt”中删除该车的信息, 并将该车对应的车位设置为可使用状态(即二维数组对应元素清零). 按用户的选择来判断是否要输出停车收费的总计。 系统开发的目标是: (1) 停车场内车辆信息及时汇总,随时了解停车场车位的使用情况; (2) 统计车辆信息全部电脑化,提高工作效率和工作质量; (3) 以停车场内的全部车辆信息为基础,由客户自主选择停车位,尽量达到车位的最高利用率; (4) 停车费用的结算也由电脑来完成,解决客户所担心的乱收费问题。 (5) 用户可以在取车时,留下宝贵的对本次使用的评价,待管理员审核后就可以动态地显示用户界面的正上方。,

2012-08-04

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除