spark中dataframe解析_Spark DataFrame解析json字符串

近期在做Spark Streaming方面的测试，从Kafka中实时取数据。此时接收到的数据是一段 json 数组形式的字符串，那么就需要将其解析为DataFrame的行数据，以方便进行实时运算。下面的代码示例演示了如何实现这个功能，因为比较简单，就多作说明了。

假设初始的字符串是：[{"a":1,"b":2},{"a":3,"b":4},{"a":5,"b":6},{"a":7,"b":8}]，最终将其解析为下面的DataFrame：

a

b

1

2

3

4

5

6

7

8

# coding=utf-8

from pyspark.sql import SparkSession

from pyspark.sql import types as T

from pyspark.sql import functions as F

spark = SparkSession.builder\

.master("local[*]")\

.appName("test.dataframe")\

.getOrCreate()

# 第1步，加载数据，默认为字符串类型的单列，列名为value

data = ['[{"a":1,"b":2},{"a":3,"b":4},{"a":5,"b":6},{"a