Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法

最新推荐文章于 2022-10-18 00:16:59 发布
最新推荐文章于 2022-10-18 00:16:59 发布
阅读量934 收藏 3
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaopihaierletian/article/details/118441819
版权

ERROR：在SparkSQL中获取Row的值，而且Row的字段允许null时，在取值的时候取到null赋值给新的变量名会报NullPointerException错误

解决：可以先用row.isNullAt(index)去判断该字段的值是否为空

具体案例如下：

首先上错误

修改为先初始化变量，判断row.isNullAt(6) 如果不为空就将值赋值给变量

从row中get值时, 经常遇到空的问题
简单总结如下:
get数值类型:如果为空, 则转化为0
判空, 建议使用row.isNullAt(index)

get字符串类型:如果为空则为null
判空建议用:StringUtils.isEmpty() (出现""的情况)

总结:获取值用getAsT
判空用row.isNullAt
以及StringUtils.isEmpty()

xiaopihaierletian
关注
专栏目录
Spark(28) -- SparkSQL自定义函数（UDF、UDAF、UDTF）
erainm
10-07 751
1. UDF实战 2. UDAF实战
spark-12.sparkSQL_3_sparkSQL自定义函数
qq_30657195的博客
06-26 264
UDF函数 通过spark.udf.register(“name”,func)来进行注册。使用select func() … 来直接调用。如： val peopleDF = spark.read.json("examples/src/main/resources/people.json") peopleDF.createOrReplaceTempView("people") spark.udf.register("add",(x:String)=>"A:"+x) spark.sql("select a
mysql nullpoint_访问数据库时遇到NullPointer Exception
weixin_35305499的博客
02-06 985
大家好，我的webapp在运行时会不定期的遭遇"http 500"的错误信息，报告NullPointer异常，详细情况如下0. 我采用jdk1.5.0, struts1.2.8开发，数据库为MySQL, 容器为Tomcat5.5.10。数据库连接采用tomcat的连接池，配置在web应用的/META-INF/context.xml里1. 在开发期间，我碰到过NullPointer异常，它来自于访问...
java.long.nullexcep_解决java的Long.getLong(str)的NullPointerException错误
weixin_39524882的博客
03-02 190
I've spent the past two hours debugging what seems extremely unlikely. I've stripped the method of a secondary Android Activity to exactly this:publicvoidonClick(Viewv){Stringstr="25";longmy_long=Long...
spark编程ERROR01——java.lang.NullPointerException
SYITwin的博客
03-25 3863
IDEA中运行spark程序，发现datafram可以进行df.show() 但是只要df.count() 就会显示下面的异常信息： 2022-03-25 17:56:13,691 ERROR executor.Executor: Exception in task 14.0 in stage 7.0 (TID 222) java.lang.NullPointerException at $line33.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.$a.
在执行Sparksql操作orc类型的表时抛出：java.lang.IndexOutOfBoundsException 或者 java.lang.NullPointerException
01-12 702
案例 (spark version 2.4.6)： create tmp.table_Y_x_h partitioned by (key string) stored as orc ; insert overwrite table tmp.table partition(key='ur_my_love') select * from tablex where 1=2 ; 会在hdfs key path 下生成一个000000_00 size 大小为 0 的空文件 ; 在spark-s...
Windows 平台运行spark-shell 报"java.lang.NullPointerException, not found: value sqlContext" error 解决办法
一路彷徨的专栏
01-01 1万+
错误背景描述在spark 官网下载 spark的安装版：spark-1.6.3-bin-hadoop2.6.tgz，然后解压，配好环境变量，在window下CMD下运行spark-shell,启动spark失败（本地模式）。然后搜索了一下，发现中文基本找不到什么参考资料，不过在stackoverflow上找到了解决办法，遂记录下，供国内的同学参考下 错误信息ava.lang.NullPointer
第六课 大数据技术之Spark-SparkSql
QnHyn
10-18 817
SparkSql
Spark----SparkSQL用户自定义函数
XiaodunLP的博客
02-18 1013
UDF 通过spark.udf功能用户可以自定义函数。 用户自定义UDF函数 scala> val df = spark.read.json("examples/src/main/resources/people.json") df: org.apache.spark.sql.DataFrame = [age: bigint, name: string] scala> df....
java.lang.NullPointerException 空指针异常相关问题
席同学的博客
01-07 1457
空指针 java.leng.NullPointerException 常见的几种原因是： 1.对象未初始化而直接引用对象值或者方法。 2.对象引用已经不存在或者被JDBC关闭。 一个经典的例子是JDBC connection已经关闭，ResultSet对象仍然被使用中，这个时候NullPointerException就被抛出。 3.违反某些Java容器的限制，读写Null 值。 4.例如 java...
解决spark dataframe get 报空指针异常 java.lang.NullPointerException
萌兔兔MMQ！！
02-28 2024
Spark 编程读取hive，hbase, 文本等外部数据生成dataframe后，一般我们都会map遍历get数据的每个字段,此时如果原始数据为null时，如果不进行判断直接转化为string，就会报空指针异常 java.lang.NullPointerException 示例代码如下： val data = spark.sql(sql) val rdd = data.rdd.map(record => { val recordSize = record.size for(i <-
SparkStreaming写入hbase数据库过程中，有空指针NullPointException产生如何处理以及RDD类型如何转换！！
reedom1991的博客
04-28 1057
所用的软件版本： spark2.3.0 hbase1.4.6 IDEA2019.1 业务代码如下： package com.bd.spark import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.serialization.StringDeserializer im...
spark 算子内部引用sparkSession对象报java.lang.NullPointerException解决方法
korry24的博客
09-06 1976
spark算子内部引用sparkSession对象报空指针异常
java.lang.NullPointerException：null
热门推荐
qq_43907515的博客
05-25 8万+
java.lang.NullPointerException: null错误原因及解决方法 抛出问题： 今天在调试项目时报出一个错误java.lang.NullPointerException: null，代码如下 XNIO-1 task-1] .p.c.s.c.PigxUserAuthenticationConverter : extractAuthentication===>>>authorities===>>>[{},{},{},{},{},{},{},{},{},
Spark Jdbc报NullPointerException
一个不安分的程序员
11-24 2341
问题描述： 运行使用Spark Jdbc读取postgresql程序报错： Exception in thread "main" java.lang.NullPointerException at java.util.Hashtable.put(Hashtable.java:460) at java.util.Properties.setProperty(Properties.java:166) at org.apache.spark.sql.execution.datasources.jdbc
第144课：Spark面试经典系列之NULL值问题及序列化错误
tom_8899_li的博客
05-05 855
Spark面试经典系列之NULL值问题及序列化错误1、NULL值问题如何解决？ 2、序列化错误如何解决？一些场景下，我们并不需要返回具体的值，这个时候往往我们会返回NULL值，但是有时候你可能在下一步的RDD操作中要求RDD的元素不能够是NULL值，如果是的话就会抛出异常，此时该如何处理呢？这个时候我们可以在继续返回NULL值的基础上，在下一步要使用的时候通过Option进行模式匹配（Some和N
到处都是坑--getLong
itheimach的专栏
07-11 1233
今天在跑程序的时候报了一处莫名其妙的错，害的我花了了很久的时间去解决，到最后发现问题时，才发现自己跳进了自己挖的坑。 在执行下面的代码的时候，报了一个Exception,类型转换异常，说String不能转换成Long:// 取long值 long uTime = Properties.getLong(String.valueOf(userId)); long gTime = Properti
Stack Overflow 上最火的一个问题：什么是 NullPointerException
田维常
10-19 638
点击蓝色“沉默王二”关注我哟加个“星标”，天天中午 12:14，一起快乐成长在逛 Stack Overflow 的时候，发现最火的问题竟然是：什么是 NullPointe...
spark之Row
自渡
10-11 1355
hkl曰：直接搞过来官方的API文档，看不懂英文没关系，看它的实例就可以了。 http://spark.apache.org/docs/1.3.1/api/scala/index.html#org.apache.spark.sql.Row 注意：import org.apache.spark.sql._ 要先导入这个包 。 Represents one row of output from a relational operator. Allows both generic ...
Java Long.getLong 和 Long.paseLong 的区别
最新发布
07-13
Java 中的 Long.getLong() 和 Long.parseLong() 方法都用于将字符串转换为 long 类型，但它们有一些区别。 1. Long.getLong() 方法： - 这个方法可以将字符串转换为 long 类型，但它还可以接受一个可选的默认值参数。 - 如果输入的字符串表示的是一个有效的 long 值，该方法将返回该值。 - 如果输入的字符串无法解析为 long 值（例如包含非数字字符），或者为 null，该方法将返回默认值。 - 默认值可以通过使用系统属性或在方法调用时显式指定。 2. Long.parseLong() 方法： - 这个方法将一个字符串解析为 long 类型的值，但不接受默认值参数。 - 如果输入的字符串表示一个有效的 long 值，该方法将返回该值。 - 如果输入的字符串无法解析为 long 值（例如包含非数字字符）或为 null，该方法将抛出 NumberFormatException 异常。 总结： - 如果你想要在解析失败时提供一个默认值，可以使用 Long.getLong() 方法。 - 如果你只关心解析是否成功，并且不需要默认值，可以使用 Long.parseLong() 方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值