Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法

最新推荐文章于 2022-10-18 00:16:59 发布
最新推荐文章于 2022-10-18 00:16:59 发布
阅读量762 收藏
点赞数 1
文章标签： 大数据 java 数据库
原文链接：http://www.cnblogs.com/RzCong/p/10743615.html
版权

在SparkSQL中获取Row的值，而且Row的字段允许null时，在取值的时候取到null赋值给新的变量名会报NullPointerException错误，

可以先用row.isNullAt(index)去判断该字段的值是否为空

首先上错误

修改为先初始化变量，判断row.isNullAt(6) 如果不为空就将值赋值给变量

 

转载于:https://www.cnblogs.com/RzCong/p/10743615.html

weixin_34075268
关注
Spark(28) -- SparkSQL自定义函数（UDF、UDAF、UDTF）
erainm
10-07 761
1. UDF实战 2. UDAF实战
Spark系列--SparkSQL(五)用户自定义函数
淡淡的倔强的博客
07-23 3094
一、用户自定义UDF函数 通过spark.udf功能用户可以自定义函数。 scala> val df = spark.read.json("/input/people.json") scala> spark.udf.register("addName",(x:String)=>"Nam
spark 当dataframe中某一行的某一列存在null值时用get(i)索引触发NullPointException
枪枪枪的博客
01-07 889
这是从Dataframe中获取的一行 可以看到遍历到null值时触发异常 解决方法： 对DataFrame使用.na.fill("")将null值替换为空字符
解决Spark连接Hive查询数据NullPointerException问题
鬼火修罗的博客
08-13 3265
背景：我们有一个使用Spark做数据计算的项目，一直以来运行正常，近日测试环境突然发生运行时空指针异常问题（已脱敏处理）： ERROR ApplicationMaster: User class threw exception: java.lang.RuntimeException: serious problem java.lang.RuntimeException: serious problem at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.
Spark Jdbc报NullPointerException
一个不安分的程序员
11-24 2355
问题描述： 运行使用Spark Jdbc读取postgresql程序报错： Exception in thread "main" java.lang.NullPointerException at java.util.Hashtable.put(Hashtable.java:460) at java.util.Properties.setProperty(Properties.java:166) at org.apache.spark.sql.execution.datasources.jdbc
Spark row类型空值获取问题
yuan_yiyi的博客
07-22 1791
同事做开发时遇到的 spark dataframe row类型空值获取问题，记录一下： 获取值时使用：row.getAs(index) get数值类型时，判断是否为空：row.isNullAt(index) get字符串类型时，判断是否为空：StringUtils.isEmpty() ...
第六课 大数据技术之Spark-SparkSql
QnHyn
10-18 832
SparkSql
Spark----SparkSQL用户自定义函数
XiaodunLP的博客
02-18 1021
UDF 通过spark.udf功能用户可以自定义函数。 用户自定义UDF函数 scala> val df = spark.read.json("examples/src/main/resources/people.json") df: org.apache.spark.sql.DataFrame = [age: bigint, name: string] scala> df....
spark-12.sparkSQL_3_sparkSQL自定义函数
qq_30657195的博客
06-26 271
UDF函数 通过spark.udf.register(“name”,func)来进行注册。使用select func() … 来直接调用。如： val peopleDF = spark.read.json("examples/src/main/resources/people.json") peopleDF.createOrReplaceTempView("people") spark.udf.register("add",(x:String)=>"A:"+x) spark.sql("select a
在IDEA 本地开发调试spark程序报错java.lang.NullPointerException
huonan_123的博客
11-19 3496
在IDEA 本地开发调试spark程序 报错: ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. … jav...
Spark 之 Row
weixin_36630761的博客
08-11 2万+
hkl曰：直接搞过来官方的API文档，看不懂英文没关系，看它的实例就可以了。 http://spark.apache.org/docs/1.3.1/api/scala/index.html#org.apache.spark.sql.Row 注意：import org.apache.spark.sql._  要先导入这个包 。 Represents one
spark scala Long类型范围和
supersalome的博客
12-07 4943
scala> val a:Long=1512631111415 :1: error: integer number too large        val a:Long=1512631111415                   ^ scala> val a:Long=1512631111415L a: Long = 1512631111415 scala> sc
java.lang.NullPointerException错误及其处理方式
热门推荐
GO BEYOND YOURSELF
05-31 2万+
在java项目中，我们经常会遇到java.lang.NullPointerException错误，也就是俗称的“空指针异常”。这里我就介绍一下有关的解决方案： 首先从整体上，这种问题分为两种：
spark sql 中的细节，判断字段是否为null
需求是无耻的
12-13 2万+
开始用的 是 '字段'=null '字段'！=null 执行后的的数据表中没有数据 后改为 '字段' is null '字段' is not null 执行的结果正确 自己真是记性差...... ...
解决spark dataframe get 报空指针异常 java.lang.NullPointerException
萌兔兔MMQ！！
02-28 2041
Spark 编程读取hive，hbase, 文本等外部数据生成dataframe后，一般我们都会map遍历get数据的每个字段,此时如果原始数据为null时，如果不进行判断直接转化为string，就会报空指针异常 java.lang.NullPointerException 示例代码如下： val data = spark.sql(sql) val rdd = data.rdd.map(record => { val recordSize = record.size for(i <-
Java Long.getLong 和 Long.paseLong 的区别
最新发布
07-13
Java 中的 Long.getLong() 和 Long.parseLong() 方法都用于将字符串转换为 long 类型，但它们有一些区别。 1. Long.getLong() 方法： - 这个方法可以将字符串转换为 long 类型，但它还可以接受一个可选的默认值参数。 - 如果输入的字符串表示的是一个有效的 long 值，该方法将返回该值。 - 如果输入的字符串无法解析为 long 值（例如包含非数字字符），或者为 null，该方法将返回默认值。 - 默认值可以通过使用系统属性或在方法调用时显式指定。 2. Long.parseLong() 方法： - 这个方法将一个字符串解析为 long 类型的值，但不接受默认值参数。 - 如果输入的字符串表示一个有效的 long 值，该方法将返回该值。 - 如果输入的字符串无法解析为 long 值（例如包含非数字字符）或为 null，该方法将抛出 NumberFormatException 异常。 总结： - 如果你想要在解析失败时提供一个默认值，可以使用 Long.getLong() 方法。 - 如果你只关心解析是否成功，并且不需要默认值，可以使用 Long.parseLong() 方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值