【Spark异常记录】- Cannot safely cast ‘click_cnt‘: string to int

1. 原因

这是因为从 Spark 3.0.0 开始，Spark SQL 增加了一个安全策略，不对非同类型的数据进行强制转换，然后就会出现这个错误。

其中有三种策略：

1. ANSI 策略：不允许 Spark 进行某些不合理的类型转换，如：string 转换成 timestamp。

2. LEGACY 策略：允许 Spark 进行类型强制转换，只要它是有效的 Cast 操作。

3. STRICT 策略：不允许 Spark 进行任何可能有损精度的转换。

2. 解决方法

1. 如果想长期生效，就将这个参数添加到spark-defaults.conf文件中。

   spark.sql.storeAssignmentPolicy=LEGACY
   

2. 在代码中添加：

   val spark: SparkSession = SparkSession.
                   builder()
                   .master("local[*]")
                   .appName("task2_1")
                   .config("spark.sql.storeAssignmentPolicy","LEGACY")