阿生

天心有晴

neo4j因果集群搭建

neo4j因果集群搭建 文章目录neo4j因果集群搭建neo4j集群模式HA集群因果集群添加新的core服务器添加新的只读副本节点官网的错误 neo4j集群模式 HA集群 因果集群 本文的介绍来自于neo4j官网操作手册。 HA集群 HA集群已经被启用,将会在4.x被删除,这是官网的原话 因...

2019-06-18 15:41:29

阅读数 10

评论数 0

SparkRPC源码分析之ChunkFetchRequest、ChunkFetchSuccess和ChunkFetchFailure消息

StreamManager 文章目录StreamManager作用方法ChunkFetchRequest消息ChunkFetchSuccess和ChunkFetchFailure消息 作用 ​ StreamManager用来从一个流中提取单个的块。这会在TransportRequestHande...

2019-06-14 08:58:00

阅读数 15

评论数 0

图数据库JanusGraph与neo4j对比

图数据库 文章目录什么是图?什么是图数据库?何时需要使用图数据库图数据库常用领域怎么确定需要使用图数据库图数据库的种类Neo4J和JanusGraph比较JanusGraph大型用户JanusGraph功能【官网介绍】Neo4j的企业与社区版本对比 什么是图? ​ 图由两个元素组成:节点、关系 ...

2019-06-10 17:34:18

阅读数 63

评论数 0

SparkRPC源码分析之RPC管道与消息类型

SparkRPC源码分析之RPC管道与消息类型 我们前面看过了netty基础知识扫盲,那我们应该明白,ChannelHandler这个组件内为channel的各种事件提供了处理逻辑,也就是主要业务逻辑写在该组建内。Spark的RPC也不会例外,因此我们看一下Spark的Handeler怎么调用的。...

2019-05-17 14:43:26

阅读数 50

评论数 0

SparkRPC源码分析之Netty基础知识扫盲

SparkRPC源码分析之Netty基础知识扫盲 在上面三篇文章中,我们介绍了Spark如何创建一个客户端和如何创建一个服务端。那么这些东西是什么呢?这就需要了解netty,而我本人是对netty不了解的。因此简单地看了一下netty需要的东西,写了以下简单的netty入门级程序。仅供参考 服务端...

2019-05-10 16:53:38

阅读数 16

评论数 0

SparkRPC源码分析之TransportServer

SparkRPC源码分析之TransportServer 在上一篇博客中写到了Transprotclient的初始化,也就是那个很重要的currentMap里面数据的初始化,本次分析服务端初始化过程。 先看构造方法的源代码 //创建一个TransportServer,绑定到给定主机和给定端口,(如...

2019-05-09 18:17:56

阅读数 13

评论数 0

SparkRPC源码分析之TransportClientFactory

TransPortClientFactory TransportClientFactory是创建TransportClient的工厂方法。该类是使用Java语言写的不是scala,主要方法为createClient方法. 这里的是简单工厂模式,一般简单工厂模式使用的是if-else逻辑进行判断 先...

2019-05-08 19:47:18

阅读数 18

评论数 0

SparkRPC源码分析之ConfigProvider

Spark配置信息 Spark的配置信息读取一般都会通过ConfigProvider类来完成,该类是一个抽象类,它的一系列子类实现了从各种渠道中读取配置信息到内存中[Map]这里是一个javaMap不是ScalaMap 代码如下所示 package org.apache.spark.interna...

2019-05-07 18:55:29

阅读数 13

评论数 0

hadoop3.x端口改动

近日学习hadoop3.x,一切安装完成,格式化namenode 然后发现怎么也打不开50070界面 如图所示 刚开始以为是配置错误了,检查多次配置文件和防火墙发现都没问题,然后又测试把文件上传到hdfs试验,发现也可以。于是我明白可能是hadoop3.x端口进行更改了。那么问题来了。新的端口是...

2019-03-24 10:58:02

阅读数 122

评论数 0

如何用scala写出java8的函数BiConsumer等匿名函数

使用scala写出java的BiConsumer 最近做一个项目需要使用scala调用java的API,但是java的api上面的输入参数为BiComsumer接口,这种接口在java中写很简单,比如这样 (m,n)-> System.out.println(m+n)...

2019-02-14 15:25:03

阅读数 150

评论数 1

Spark统计类StatCounter类

statCounter org.apache.spark.util包中一个用于统计的类,这个类可以对一组数字进行统计追踪,可以统计他的计数,最大值,最小值,平均值,求和,以及可以合并两个追踪的结果merge。 example:统计一下不为0的数字和为0的数值的代码如下 package demo ...

2019-01-29 17:37:33

阅读数 99

评论数 0

ElasticSearch的内前对象过滤聚合

Elasticserach内嵌对象过滤聚合 比如某一个内嵌对象的字段形式为 { type:汽车车型 style:汽车车系 } 此时选出了具有某种汽车车型比如 五菱的人,数据在此字段中还包含 奥迪汽车。 { "size": 0, "qu...

2018-11-08 16:48:33

阅读数 117

评论数 0

Elasticsearch查询的时候setSize不起作用,而且匹配的数据还不正确。

最近使用ES做项目,使用的过程中发现ES返回的结果是错误的,这个问题肯定不是ES本身的问题,他作为一个成熟的框架是不可能犯这些小错误的,于是我就想问题是出在了我自己身上,但是代码中根本不报错。 后来发现原因出在了setSource()上面 它和setQuery的顺序决定了结果返回的正确性,我猜想...

2018-08-23 19:14:56

阅读数 562

评论数 0

illegal cyclic reference involving object InterfaceAudience

最近开发Spark应用程序,用到了scala反射,但是却一直报错循环引用 InterfaceAudience,感觉很奇怪,后来排查错因才发现,原来FileSystem类不可以作为反射的方法的参数,一旦作为参数就会报错循环引用。具体测试代码如下所示。 package myreflect impo...

2018-08-14 15:28:18

阅读数 423

评论数 0

Scala2.11反射

scala的反射 scala的反射分为 运行时反射和编译时反射。编译时反射在scala语言中使用宏来替代,它是开发程序转化器和生成器的神兵利器,而运行时反射通常用来作为调整语言语义和组件之间的绑定。 具体的情况请参考官方链接 - 点击进入这是官网中的例子和对scala反射的一些解释。顺便提醒一...

2018-08-14 15:10:30

阅读数 704

评论数 0

Spark中的aggregate算子

Spark的aggregate算子 aggragete算子作为spark的算子之一,虽然没有map,reduce算子使用的多但是也是一个不容忽略的算子,但是关于这个算子的用法很多解释都含糊不清 ,下面就记载下来以备以后观看。 aggregate在scala语言中本来就存在,它的输入值和返回...

2018-08-09 19:14:42

阅读数 690

评论数 0

getCallSite方法的作用

SparkContext中getCallSite方法的作用 先看图片如下: 源码如下: def getCallSite(skipClass: String => Boolean = sparkInternalExclusionFunction): CallS...

2018-03-24 12:27:30

阅读数 258

评论数 2

SparkStage的划分(spark2.2)

SparkStage的划分(spark2.2) Spark提交stage时调用一系列的runJob()方法,最后会调用到DAGScheduler的runJob方法,该方法代码如下所示: def runJob[T, U]( rdd: RDD[T], func:...

2018-03-12 17:02:30

阅读数 134

评论数 0

Spark2.2Driver和Executor状态改变机制

Driver和Executor的状态改变机制 我们先来看Driver的状态改变机制 源码如下 case DriverStateChanged(driverId, state, exception) => state match { case ...

2018-02-03 23:06:10

阅读数 116

评论数 0

spark2.2 注册机制

Spark的 Master、Driver、Application注册 那么我们就以Application为例看看注册机制 case RegisterApplication(description, driver) => // TODO Prevent re...

2018-02-03 22:12:31

阅读数 166

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭