- 博客(29)
- 收藏
- 关注
RSS订阅原创 Scala REPL实现原理与Spark Shell简介
Scala REPL实现原理与Spark Shell简介 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbqScala是我最喜欢的语言之一，与Java语言不同，Scala语言十分简洁，自带了很多的算子可以帮助我以最快的时间去实现我要实现的功能，因此可以留出更...
2018-09-02 20:03:51
6501
1
原创 Spark闭包清理类ClosureCleaner简析
Spark闭包清理类ClosureCleaner简析 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq从6月初开始因为一些工作上的事情，已经好久没有写博客了，这次把之前Spark源码阅读中深入了解的Spark闭包清理类ClosureCleaner简单介绍下...
2018-09-01 18:52:23
2832
原创 蚂蚁金服开源sofa-rpc框架源码走读记录——Provider
蚂蚁金服开源sofa-rpc框架源码走读记录——Provider 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq最近两周在学习Hadoop源码时研究到了rpc框架，然后在网上发现了蚂蚁金服近期开源的sofa-rpc框架。这两天正好有点空闲，就走读了一遍源...
2018-06-02 21:00:18
2613
原创 蚂蚁金服开源sofa-rpc框架源码走读记录——Consumer
蚂蚁金服开源sofa-rpc框架源码走读记录——Consumer 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq最近两周在学习Hadoop源码时研究到了rpc框架，然后在网上发现了蚂蚁金服近期开源的sofa-rpc框架。这两天正好有点空闲，就走读了一遍源...
2018-06-02 16:32:56
4613
原创 分布式一致性算法-Raft学习笔记
分布式一致性算法-Raft学习笔记 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbqRaft算法中角色和存储不同于Paxos算法，Raft算法中只有一种角色。这个角色可以有三种状态：1、Follower 2、Candidate 3、Leader...
2018-05-19 17:41:40
902
原创 分布式一致性算法-paxos学习笔记
分布式一致性算法-paxos学习笔记 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbqPaxos算法描述以下摘自Paxos Made Simple论文：Phase 1. (a) A proposer selects a proposal n...
2018-05-19 14:02:52
495
原创 慎用Scala中的return表达式
慎用Scala中的return表达式 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbqThe return keyword is not “optional” or “inferred”; it changes the meaning of your pr...
2018-05-07 21:29:55
7728
2
原创 Scala中闭包的实现机制
Scala中闭包的实现机制 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq本文通过scala代码编译生成的class文件的角度来对Scala的闭包实现机制进行简单分析首先以一个简单的例子开始：class ClosureDemo { def...
2018-05-06 22:31:39
1622
原创 Scala Parser原理介绍与源码分析
Scala Parser原理介绍与源码分析 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq为了不耽误大家的时间，重要的事情说三遍： 本文不讲Scala Parser的用法！！ 本文不讲Scala Parser的用法！！ 本文不讲Scala Pars...
2018-04-02 20:47:16
3266
1
原创 Spark SQL集合数据类型array\map的取值方式
Spark SQL集合数据类型array\map的取值方式 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq本节主要讨论集合数据类型：数组\列表array、字典map这两种数据类型的索引，首先我们还是先构造数据结构与DataFrame：scala&...
2018-03-24 15:14:35
22835
5
原创 Spark SQL 列名带点的处理方法
Spark SQL 列名带点的处理方法 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq由于这个问题遇到的比较多，因此从我的另一篇博客中摘录出来：https://blog.csdn.net/wang_wbq/article/details/79672768...
2018-03-24 10:36:46
6418
1
原创 Spark SQL表达式解析器-Scala Parser与Antlr4
Spark SQL表达式解析器-Scala Parser与Antlr4 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbqSpark SQL之所以能支持如此强大的表达式系统，是因为其包含了一套字符串解析并生成表达式树的模块。Scala Parser...
2018-03-23 23:07:56
5591
原创 Spark SQL常用表达式示例
Spark SQL常用表达式示例 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq本文使用spark-shell来演示我平时常用的一些Spark SQL表达式，来帮助大家更好体会Spark SQL的使用方式。所有可用函数可以使用这篇文章中的方法进行查看...
2018-03-23 21:13:42
2074
原创 Spark SQL表达式内部可用函数与相关源码
Spark SQL表达式内部可用函数与相关源码 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq虽然标题写着是Spark SQL可用函数，但是我并不想直接把它们贴出来。代码是最好的老师，因此我要教大家自己从源码中获得这些函数。因为随着Spark的版本更新，...
2018-03-23 20:01:29
1513
原创 Spark SQL使用说明与DataFrame创建
Spark SQL使用说明与DataFrame创建 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq启动spark-shell由于spark-shell演示具有显而易见的有点，因此本文主要基于spark-shell对Spark SQL的使用进行介绍...
2018-03-22 21:48:46
1726
原创 Spark SQL上下文创建与测试环境搭建
Spark SQL上下文创建与测试环境搭建 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbqSpark SQL上下文创建这篇文章主要介绍Spark SQL，因此默认各位已经有一个搭建好的Spark开发环境了。需要先引入和spark版本一致的sp...
2018-03-22 20:25:13
1243
原创 在Spring Cloud中发现其他所有服务
在Spring Cloud中发现其他所有服务在使用Spring Cloud时会遇到一些需求，比如创建一个服务注册和发现的服务来处理一些服务的动态配置相关操作，这就需要用到DiscoveryClient 类来实现了：package org.springframework.cloud.client.discovery;import java.util.List;import org
2018-01-06 12:12:30
1234
原创 Akka remote源码走读与逻辑梳理
Akka remote源码走读与逻辑梳理最近事情比较少，就抽了一天时间把akka remote模块的代码粗略走读了下，梳理了以下类结构和数据流。akka remote模块里大量使用了future\ promise，以下为我梳理出的简单类结构图（不清楚的话可以单独打开图片链接）：当前akka数据传输默认使用netty来实现，之后会被Artery模块取代。在actor层级上，akka使
2018-01-06 11:26:34
921
原创 Akka最佳实践-在Actor伴生对象内提供Props的工厂方法
Akka最佳实践-在Actor伴生对象内提供Props的工厂方法 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢在Akka官方文档中关于创建Actor部分提供了三种创建Actor的Props的方式： 1、val props1 = Props[MyActor] 2、val props2 = Props(new ActorWithArg
2017-12-20 20:50:49
1397
1
原创 AKKA 官方文档2.5.8——入门指南
到目前为止，Akka 2.5.8版本（当前最新版本）官方文档的入门指南部分已经翻译完了，第一节那个akka介绍有点无聊就没翻，本人自感英语水平过差（其实语文也不咋地），所以看看英文文档提升下词汇量，然后就顺手翻译了下。 为什么现代系统需要一个新的编程模型actor模型如何满足现代分布式系统的需求akka库和模块概览示例介绍第一部分：Actor架构第二部分：创建第一个actor第三部分：与设备A
2017-12-19 18:54:17
11718
1
翻译 【AKKA 官方文档翻译】第五部分：查询设备组
第五部分：查询设备组 akka版本2.5.8 版权声明：本文为博主原创文章，未经博主允许不得转载。我们目前看到的会话模式都很简单，它们要求actor保持很少甚至没有内部状态，特别地： 1、设备actor返回读数时不需要改变状态 2、记录温度只更新了一个字段 3、设备组actor通过简单地增删map中的元素来维持组关系在本节中，我们使用一些更加复杂的例子，由于家的主人会
2017-12-19 18:11:00
1032
翻译 【AKKA 官方文档翻译】第四部分：使用设备组
第四部分：使用设备组 akka版本2.5.8 版权声明：本文为博主原创文章，未经博主允许不得转载。让我们仔细观察下我们用例所要求的主要功能。在完整的检测家庭温度的物联网系统中，传感器设备和我们的系统进行连接的步骤大概会像这样： 1、家里的一个传感器设备通过某个协议发起连接 2、组件管理器处理网络连接并接受连接 3、传感器提供组ID和设备ID来向我们的系统组件管理器注册
2017-12-18 18:48:27
1295
翻译 【AKKA 官方文档翻译】第三部分：与设备Actor一起工作
第三部分：与设备Actor一起工作 akka版本2.5.8 版权声明：本文为博主原创文章，未经博主允许不得转载。在之前的话题中，我们解释了如何在高层次来看待actor系统，即要如何去表示组件，如何安排actor的层次结构。在本节中，我们会看到如何实现其中的设备actor。如果我们使用对象，我们会将API设计为接口，并拥有一组会被实现类实现的抽象的方法。但是在actor的世界里，协议（p
2017-12-18 18:46:45
1749
翻译 【AKKA 官方文档翻译】第二部分：创建第一个actor
第二部分：创建第一个actor akka版本2.5.8 版权声明：本文为博主原创文章，未经博主允许不得转载。在前面我们已经了解了actor的层级结构和行为，接下来问题就是如何将我们物联网系统的顶层组件映射到actor上。你可能会想到用顶级actor来表示设备和仪表盘，相反的，我们建议创建一个显式的组件来代表整个应用程序。换句话说，在我们的物联网系统中，只会存在一个顶级actor。这个组
2017-12-18 18:45:56
2458
翻译 【AKKA 官方文档翻译】第一部分：Actor架构
第一部分：Actor架构 akka版本2.5.8 版权声明：本文为博主原创文章，未经博主允许不得转载。Akka为你提供了创建actor系统的一些基础功能，并且已经实现了控制基本行为必需的底层代码。为了体会这一点，我们来看看你创建的actor角色与akka内部创建的管理角色的关系，顺便了解下actor的生命周期和失败处理方式。akka actor的层次结构akka里的actor总是属于其
2017-12-18 18:45:02
4880
1
翻译 【AKKA 官方文档翻译】示例介绍
示例介绍 akka版本2.5.8 版权声明：本文为博主原创文章，未经博主允许不得转载。撰写散文时，最难的部分通常是撰写前几句话。开始构建Akka系统时会有一种类似“空白画布”的感觉。你可能会想：第一个actor应该是谁？它应该归属于哪？我应该怎么做？幸运的是，与散文不同，已经构建好的最佳实践可以指导我们度过这个初始阶段。在本指南的剩余部分，我们考察一个简单的akka应该程序的核心逻辑，
2017-12-18 18:43:43
2011
翻译 【AKKA 官方文档翻译】akka库和模块概览
akka库和模块概览 akka版本2.5.8 版权声明：本文为博主原创文章，未经博主允许不得转载。在深入研究编写actor的一些最佳实践之前，预览一下akka最常用的库将会很有帮助。这将会帮助你开始考虑你要在系统中实用的功能。所有akka的核心功能都能以开源软件（OSS）方式获取。Lightbend赞助akka的开发，你也可以通过其获得商业支持，如培训，咨询，支持和企业套件-用于管理a
2017-12-18 18:42:36
2409
翻译 【AKKA 官方文档翻译】actor模型如何满足现代分布式系统的需求
actor模型如何满足现代分布式系统的需求 akka版本2.5.8 版权声明：本文为博主原创文章，未经博主允许不得转载。正如之前所述，在构建现代的苛刻系统时，我们使用现在常见的编程模式并不能正确地去处理好它所遇到的问题。但是，actor模型以一种合理的方式解决了这些问题，使系统能够按我们想象的方式去运行，并且不需要改变我们之前的编程经验。Actor模型允许我们从信息交流的方式去考虑我们的
2017-12-18 18:41:34
2833
翻译 【AKKA 官方文档翻译】为什么现代系统需要一个新的编程模型
为什么现代系统需要一个新的编程模型 akka版本2.5.8 版权声明：本文为博主原创文章，未经博主允许不得转载。actor模型是由Carl Hewitt在数十年前提出的，这个模型提供了一种在高性能网络中进行并行处理的方式，然而这种环境在当时还尚不存在。现如今，硬件和基础设置的性能已经达到并超越了Hewitt的愿景。一些组织在构建具有苛刻要求的分布式系统时经常会遇到挑战，这些问题已经无法使
2017-12-18 18:39:11
3518
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人