Spark streaming batch运行时间过长问题02

排查Spark streaming 数据写入时间过长问题，一方面是因为程序写数据湖小文件问题。在解决了小文件问题后，还是不能达到预期的1分钟一个batch。继续排查发现，在用Spark读取Kafka数据之后，由于数据通过Kafka读取后是逗号分隔的字符串，但是为了解决字符串某些字段中还有逗号的问题，只能使用正则表达式匹配，导致性能过慢。
例如一条写入的业务数据如下：

"OrderInfo","123","Someone buy a Iphone, a AirPods"

如果直接字符串采用逗号分隔，则数据为["OrderInfo", "123", "Someone buy a Iphone", " a AirPods"]。
原程序的解决方案，是采用正则表达式，裁切每条数据的一个符合双引号和逗号的，然后按照位置，裁切为1个字段。如果有100个字段，则一条长数据会裁切100次，每次选取其中对应位置的字段。如果一个batch有1万条数据，那么一次select的字段，则有100万次裁剪。那么相对应的性能就会非常低下。

解决方案

修改对应的正则表达式，使用位置

reexp = """r',(?=([^\"]*\"[^\"]*\")*[^\"]*$)'"""
reexp2 = """r'^]\"|\"$'"""
# 注解，value是Kakfa 一条records中的实际存储的数据文本内容
df.selectExpr(f"split(value, {reexp})  AS value_list ")
for j in range(len(schema)):
    df = df.withColumn(schema[j],df.value_list[j])
df = df.drop("value_list")
# 更新字段值，替换不使用的值
exprs = [f"regexp_replace({cl1}, {reexp2}, '')" for cl1 in schema]
df.selectExpr(*exprs)

split_df = df.select(*[when(~col(cl1).like('~'), col(cl1)).alias(cl1) for cl1 in schema])