![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 59
Spark学习
maplea2012
洗心革面,重新做人
展开
-
Spark源码(二)-Netty简介
Netty 是一个异步事件驱动的网络通信应用框架,用于快速开发可维护的高性能服务器和客户端。简单地说Netty封装了JDK的NIO,不用再写一大堆复杂的代码,从NIO各种繁复的细节中脱离出来,让开发者重点关心业务逻辑。二、Netty重要API大部分是模板代码,重点应该关注的是处理业务逻辑的Handler, 其按照角色不同分为ServerHandler和ClientHandler,按照数据处理流向不同,分为(对应接口是ChannelInboundHandlerAdapter)-处理输入数据,比如。原创 2024-03-31 10:10:31 · 1012 阅读 · 0 评论 -
Spark源码(一)-SparkRPC示例
RPC全称为远程过程调用(Remote Procedure Call),它是一种计算机通信协议,允许一个计算机程序调用另一个计算机上的子程序,而无需了解底层网络细节。通过RPC,一个计算机程序可以像调用本地程序一样调用远程程序,使得分布式应用程序的开发更加简单和高效。原创 2024-03-20 21:32:43 · 709 阅读 · 0 评论 -
Spark(2)-基础tranform算子(二)
【代码】Spark(2)-基础tranform算子(二)原创 2024-03-12 20:01:57 · 757 阅读 · 0 评论 -
Spark(2)-基础tranform算子(一)
【代码】Spark(2)-基础tranform算子(一)原创 2024-03-03 21:09:03 · 461 阅读 · 0 评论 -
Spark(1)-wordCount入门
【代码】Spark(1)-wordCount入门。原创 2024-03-02 19:05:42 · 562 阅读 · 0 评论 -
Spark sql优化
【代码】Spark sql优化。原创 2023-07-14 10:43:02 · 117 阅读 · 0 评论 -
SparkSql常用API
【代码】SparkSql常用API。原创 2023-07-14 10:39:17 · 443 阅读 · 0 评论 -
创建DataFrame
【代码】创建DataFrame。原创 2023-07-14 10:33:25 · 192 阅读 · 0 评论 -
Spark集群安装(On Yarn)
>点击上一步的application,查看应用程序具体执行情况。>>点击上一步的Logs,查看历史运行日志(yarn)原创 2023-05-13 13:56:10 · 190 阅读 · 0 评论 -
Spark Job调度流程
启动java 类:SparkSubmit(main)sparksubmit对象.submit()-->找到对应yarn-cluster模式的提交器:org.apache.deploy.yarn.YarnClusterApplication-->用反射手段,创建YarnClusterApplication实例(名字叫app)--> this.appid = submitApplication() 提交应用。原创 2023-05-13 11:54:10 · 146 阅读 · 0 评论 -
模拟Driver任务发送及Executor任务执行
Override主要任务:接收Driver端发送过来的Task,并创建线程执行//获取对象输入流//读取Task类//创建线程并执行task任务。原创 2023-05-06 19:37:01 · 79 阅读 · 0 评论