weixin_44524441的博客

Spark Streaming Spark Streaming是一个基于Spark Core之上的实时计算框架 SparkStreaming特点 易用：可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。 容错：SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。 易整合到Spark体系：流式处理与批处理和交互式查询相结合。 SparkStr...

SparkSQL基本介绍 什么是SparkSQL? 用于处理结构化数据的Spark模块。 可以通过DataFrame和DataSet处理数据。 SparkSQL特点 1、易整合 可以使用java、scala、python、R等语言的API操作。 2、统一的数据访问 连接到任何数据源的方式相同。 3、兼容Hive 4、标准的数据连接（JDBC/ODBC） SQL优缺点 优点：表达非常清晰，难度低、易...