SparkSQL中文文档
文章平均质量分 57
spark sql 基础笔记
bug说技术
Write the Code. Change the World.
展开
-
大数据展示
1)、SparkStreaming可以进行批量处理;SparkSQL+策略模式+工厂模式=》聚合运算;(2)、SparkStreaming+KafKa实现流数据处理不够灵活(新增分区或导致重复消息),采用多分区+多队列+线程池;原创 2022-07-24 17:15:12 · 456 阅读 · 0 评论 -
Spark SQL (一)开始入门(仅示范JAVA)
开始入门1. 起始点:SparkSession2. 创建DataFrames3. 无类型的Dataset操作(aka DataFrame 操作)4. 应用程序以编程的方式运行 SQL 查询(Running SQL Queries Programmatically)5. 全局临时视图6. 创建Datasets7. RDD的互操作性7.1 使用反射推断Schema7.2 以编程的方式指定Schema8...原创 2020-03-17 17:18:51 · 274 阅读 · 0 评论