![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 86
在学习的王哈哈
这个作者很懒,什么都没留下…
展开
-
【学习笔记】大数据技术之SparkCore(一)
大数据技术之Spark第1章 Spark 概述1.1 Spark 是什么1.2 Spark and Hadoop1.3 Spark or Hadoop1.4 Spark 核心模块第2章 Spark 快速上手2.1 创建 Maven 项目2.1.1 增加 Scala 插件2.1.2 增加依赖关系Set the default spark-shell log level to ERROR. When running the spark-shell,log level for this class is used原创 2022-04-18 16:40:24 · 1186 阅读 · 0 评论 -
关于spark组件通信--RPC
NIO,AIO,BIOBIO:同步阻塞模型,一个客户端连接 对应 一个处理线程, 会导致线程阻塞,浪费线程资源NIO:同步非阻塞模型,服务器实现模式为一个处理线程对应多个客户端的连接,客户端发送的连接请求都会注册到多路复用器selector上,多路复用器轮询到连接,有IO请求就会进行处理。AIO:异步IO模型Nettynetty是对nio的进一步封装,nio是一些底层的api,netty是基于这些api,对reactor模型的实现,是一个开箱即用的网络框架。Reactor对于 Reactor原创 2022-05-10 14:04:52 · 407 阅读 · 0 评论 -
【学习笔记】大数据技术之SparkStreaming
这里写目录标题思考?SparkStreaming 的wordcount第1章 SparkStreaming 概述1.1 Spark Streaming 是什么1.2 Spark Streaming 的特点1.3 Spark Streaming 架构1.3.1 架构图1.3.2 背压机制第 2 章 Dstream 入门2.1 WordCount 案例实操2.2 WordCount 解析第 3 章 DStream 创建3.1 RDD 队列3.1.1 用法及说明3.1.2 案例实操3.2 自定义数据源3.2.1原创 2022-04-21 15:41:26 · 2057 阅读 · 0 评论 -
【学习笔记】大数据技术之SparkSQL
大数据技术之SparkSQL思考?SQL和DSL第1章 SparkSQL 概述1.1 SparkSQL 是什么1.2 Hive and SparkSQL1.3 SparkSQL 特点1.3.1 易整合1.3.2 统一的数据访问1.3.3 兼容 Hive1.3.4 标准数据连接1.4 DataFrame 是什么1.5 DataSet 是什么第2章 SparkSQL 核心编程2.1 新的起点2.2 DataFrame2.2.1 创建 DataFrame2.2.2 SQL 语法2.2.3 DSL 语法2.2.4原创 2022-04-19 17:41:14 · 663 阅读 · 0 评论