自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

阿生

天心有晴

  • 博客(5)
  • 资源 (2)
  • 收藏
  • 关注

原创 SparkRPC源码分析之RPC管道与消息类型

SparkRPC源码分析之RPC管道与消息类型我们前面看过了netty基础知识扫盲,那我们应该明白,ChannelHandler这个组件内为channel的各种事件提供了处理逻辑,也就是主要业务逻辑写在该组建内。Spark的RPC也不会例外,因此我们看一下Spark的Handeler怎么调用的。在TransPortClientFactory初始化客户端之前有一条代码为TransportChann...

2019-05-17 14:43:26 480

原创 SparkRPC源码分析之Netty基础知识扫盲

SparkRPC源码分析之Netty基础知识扫盲在上面三篇文章中,我们介绍了Spark如何创建一个客户端和如何创建一个服务端。那么这些东西是什么呢?这就需要了解netty,而我本人是对netty不了解的。因此简单地看了一下netty需要的东西,写了以下简单的netty入门级程序。仅供参考服务端代码:import org.jboss.netty.bootstrap.ServerBootstra...

2019-05-10 16:53:38 258

原创 SparkRPC源码分析之TransportServer

SparkRPC源码分析之TransportServer在上一篇博客中写到了Transprotclient的初始化,也就是那个很重要的currentMap里面数据的初始化,本次分析服务端初始化过程。先看构造方法的源代码//创建一个TransportServer,绑定到给定主机和给定端口,(如果为0)绑定到任何可用的主机和端口。//如果不想绑定到任何特殊主机,请将“hostToBind”设置...

2019-05-09 18:17:56 203

原创 SparkRPC源码分析之TransportClientFactory

TransPortClientFactoryTransportClientFactory是创建TransportClient的工厂方法。该类是使用Java语言写的不是scala,主要方法为createClient方法.这里的是简单工厂模式,一般简单工厂模式使用的是if-else逻辑进行判断先看他的构造方法public TransportClientFactory( Transp...

2019-05-08 19:47:18 399

原创 SparkRPC源码分析之ConfigProvider

Spark配置信息Spark的配置信息读取一般都会通过ConfigProvider类来完成,该类是一个抽象类,它的一系列子类实现了从各种渠道中读取配置信息到内存中[Map]这里是一个javaMap不是ScalaMap代码如下所示package org.apache.spark.internal.configimport java.util.{Map => JMap}import ...

2019-05-07 18:55:29 297

winutils.zip

Failed to locate the winutils binary in the hadoop binary path 如果没有winutil.exe这个文件在运行hadoop程序的时候肯定报错,每次换开发环境都要找一下这个winutil文件,这次打包一下记录下来,从hadoop2.6到hadoop3.0,所有的winutils都在这了

2019-06-12

hadoop,spark,hbase,zookeeper,kafka配置文件

hadoop,spark,hbase,zookeeper,kafka配置文件。 例如: &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;?xml-stylesheet type="text/xsl" href="configuration.xsl"?&gt; &lt;!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. See accompanying LICENSE file. --&gt; &lt;!-- Put site-specific property overrides in this file. --&gt; <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/bigData/bigdata/hadoop/tmp</value> </property> </configuration>

2017-10-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除