问题:
±---------±----±--------±-----+
| user_id|class|user_name|gender|
±---------±----±--------±-----+
|1234552257| 9| ����| male|
|1249193625| 13| �ּ�| male|
|1682352065| 11| ������| male|
|2600208451| 9| ����| male|
|3059451825| 9| PSY_OPPA| male|
±---------±----±--------±-----+
val dataFrame: DataFrame = spark
.read
.option("inferSchema", "true")
.option("sep", ",")
.option("header", "true")
.csv("C:\\Users\\IAEdz\\Desktop\\Job\\user.csv")
解决,读取时加上编码
val dataFrame: DataFrame = spark
.read
.option("inferSchema", "true")
.option("sep", ",")
.option("encoding","gbk")
.option("header", "true")
.csv("C:\\Users\\IAEdz\\Desktop\\Job\\user.csv")
±---------±----±--------±-----+
| user_id|class|user_name|gender|
±---------±----±--------±-----+
|1234552257| 9| 成龙| male|
|1249193625| 13| 乐嘉| male|
|1682352065| 11| 周立波| male|
|2600208451| 9| 李准基| male|
|3059451825| 9| PSY_OPPA| male|
±---------±----±--------±-----+