Spark学习笔记（六）

Json-SparkSQL
JSON的流行

特点：简单，重点内容紧凑，易于阅读

• 灵活的模式
  
  • 每个JSON对象都是自描述的
• Web服务之间的的数据交换格式
  
  • 例如：Facebook和Twitter API
• 高度用于移动和Web应用程序开发
  
  • 大量的JSON数据集

JSON的灵活性使得生成JSON数据集变得容易，But，JSON的灵活性使得难以分析JSON数据集。

Difference：
- 定义模式的难度
- 复杂结构
- 非均匀模式
- 多类型字段

• 维护模式的难度

• 模式的频繁更改（例如，应用程序已经
  进化）

• 访问JSON数据集中的字段时遇到问题

  • 许多嵌套结构
  • 复杂结构

现有方法

• ETL

  • 优点：易于访问字段
  • 缺点：（1）定义和维护模式和（2）ETL过程可能需要很长时间

• 自定义JSON SerDes

  • 优点：（1）可以处理新鲜数据，（2）易于访问字段
  • 缺点：定义模式

• 将JSON对象存储在LOB列中

  • 优点：（1）可以处理新鲜数据和（2）读取模式
  • 缺点：查询中需要很多UDF

An example of using UDFs

{
"name":"Yin",
"age":null,
"address":
{
"city":"Columbus",
"state":"Ohio"
}
}

Goal：

SELECT name, age, address.city, address.state FROM jsonTable

With UDFs：

SELECT v1.name,v1.age,v2.city,v2.state
FROM jsonTable jt
LATERAL VIEW json_tuple(
jt.json, 'name','age','address')
v1as name,age,address
 LATERAL VIEW json_tuple(
v1.address,'city','state')v2 as city,state;

JSON support in Spark

无强制ETL处理、自动推断模式、无需使用UDF和容易写查询

实例分析
步骤1：
加载数据集
第2步：
将数据集注册为表开始处理数据集：（以自然的方式编写您的查询，而不使用UDF）

接口：
//data.json (text file)(一行一个对象）
sqlContext.jsonFile(“data.json”)
//data:RDD[String]（一个记录一个对象）
sqlContext.jsonRDD(data)

json串的所有可能的类型：

解决类型冲突（原始类型)

• 扩大类型：两种数字类型之间的冲突

NULL => INT => LONG => DOUBLE => DECIMAL

• 下转到字符串
  
  • 字符串类型和数字类型之间的冲突
  • 字符串类型和布尔类型之间的冲突
  • 布尔类型和数字类型之间的冲突

age被提升为数值;当我们不能 提升置为null

---