Spark SQL之空值Null,NaN判断和处理

Null 和 NaN

null表示无、不存在或无效的对象或地址引用。它在简单的数学运算中会转换为0，它是一个全局对象。null ==false返回的值是false。
undefined是一个全局属性，原始值undefined。它告诉我们有些东西没有赋值，没有定义。undefined不能转换成任何数字，因此在数学计算中使用它，返回的是NaN。

	val d: Double = math.sqrt(-1.0)
    println(d)
	
    val n: Boolean = math.sqrt(-1.0).isNaN
    println(n)

---

空值带来的问题

//空值加任何值都为空

spark

session.sql("select null+2 ").show()

+-----------------------+
|(CAST(NULL AS INT) + 2)|
+-----------------------+
|                   null|
+-----------------------+

hive

select NULL +2 ;

{
  "_co":null}

---

Spark SQL空值Null,NaN判断和处理

• 1.filter、fill、drop

    val df: DataFrame = session.sql(
      s"""
         |select * from sparktuning.course_pay1
         |""".stripMargin)
         
 // 删除所有列的空值和NaN
val resNull=data1.na.drop()    
 resNull.limit(10).show()
+-------+------+---+------------+--------+-------------+---------+----------+------+
|affairs|gender|age|yearsmarried|children|religiousness|education|occupation|rating|
+-------+------+---+------------+--------+-------------+---------+----------+------+
|      0|  male| 37|          10|      no|            3|       18|         7|     4|
|      0|  male| 57|          15|     yes|            2|       14|         4|     4|
|      0|female| 32|          15|     yes|            4|       16|         1|     2|
|      0|  male| 22|         1.5|      no|            4|       14|         4|     5|
|      0|  male| 37|          15|     yes|            2|       20|         7|     2|
|      0|  male| 27|           4|     yes|            4|       18|         6|     4|
|      0|  male| 47|          15|     yes|            5|       17|         6|     4|
|      0|female| 22|         1.5|      no|            2|       17|         5|     4|
|      0|female| 27|           4|      no|            4|       14|         5|     4|
|      0|female| 37|          15|     yes|            1|       17|         5|     5|
+-------+------+--