- 博客(22)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark学习笔记
概述Apache Spark是一个分布式计算框架。支持的数据存储HIVECassandraHBaseParquestAmazon S3MySQLHDFSKafakaJSON体系结构Driver：解析用户代码，在worker节点上创建多个executor；Executor：运行在worker节点上的JVM，用于提供运行任务的硬件资源；集群管理支持的调度器有：Standalone Scheduler：Spark自己的调度器。当在没有Hadoop安装的集群上运行Spar
2020-09-04 14:04:14
357
原创 使用micro创建微服务（四） -- 基于etcd实现服务发现中心
概述go-micro的目标是简化非服务的开发工作，及分布式系统的建立过程。所以它把一些开发和系统建设过程中的一些常见的工作抽象成了接口，以便开发人员可以不必关心底层的实现细节，只关心具体的业务逻辑开发即可。这样就减少了学习和开发的成本，可以更快速的创建一个灵活、健壮的系统。服务发现中心实现途径微服务的服务发现中心有三种实现途径：使用现有的DNS基础设施，这种方式的优势是每个组织都已经部署了DNS。基于DNS的服务发现系统包括Mesos-DNS；使用现有的key/value数据存储，如：Apach
2020-07-13 11:19:35
1667
原创 使用micro创建微服务（三） -- 调用基于micro的gRPC服务
下面我们可以看下具体的服务调用方式，在这里我们用到了在使用micro创建微服务中创建的服务。首先我们需要使用，如下命令启动服务：./helloworld-service 然后我们就可以进行具体的服务调用了通过命令行工具调用服务首先我们可以通过如下命令，查看可用的服务列表：micro list services在执行此命令后，会显示如下信息：其中go.micro.service.helloworld是我们要调用的服务，micro.http.broker是消息代理的缺省的实现。在我们调用
2020-05-13 14:15:25
1245
1
原创 使用micro创建微服务（二） -- micro.Option详解
在micro框架中，我们在使用NewService(opts …Option) Service方法创建服务实例时，我们可以通过传入Option参数来控制服务的不同的行为，下面我们就来了解下在2.6.0版本中所有的Option及其作用：micro.Name(n string) Option：指定服务的名称。服务名称通常按照命名空间.类型.名字的方式来进行命名。命名空间对应的是服务所在的项目；类型代表服务的类型，如：gRPC、web等。gRPC类型的服务通常缩写为srv。在服务启动成功后，服务名称会自动注册
2020-05-12 19:30:46
537
原创 使用micro创建微服务
概述micro是一个工具集，用来帮助开发者创建和管理微服务。它包括两部分：go-micro：它是一个go语言的微服务开发框架。micro：它是一个命令行工具，这个工具是基于go-micro开发的。另外go-plugins作为一组插件，在开发过程中也是必要的。通过插件，我们在服务发现、异步消息和传输协议等方面有了更多的选择。go-micro的体系架构go-micro的设计目标是简化微服务的开发和分布式系统的创建。安装micro在golang 1.14以后需要使用如下命令进行micro的安
2020-05-11 18:06:25
1995
6
原创 使用go micro开发异步微服务
概述使用go micro不仅可以开发传统模式的同步调用的微服务，也可以基于事件实现异步调用模式的微服务。在基于事件的模式下，服务端和客户端可以通过事件进行通信，而不必等待另外一端完成调用，才能进行下一步的工作。发布/订阅是一种基于事件的架构模型。go micor使用一个消息代理接口来实现发布/订阅这种模型。一个go micro客户端可以订阅一个主题，一个go micro服务端可以向这个主题...
2020-04-26 17:38:46
1232
1
原创 使用go micro开发微服务详解
初识微服务微服务架构是用来替换传统的单体架构的。它使用细颗粒度的服务及其组合来完成一个业务系统的工作。服务间是以一种约定来进行通信。微服务架构会带来如下的好处：开发团队可以并行进行开发工作；新加入的工作人员更容易上手；可以在组成系统的组件级别上进行持续集成和持续交付；它是一个松散的架构，不同的组件更容易替换；微服务架构不依赖与特定的语言和技术；当谈论微服务时，服务的编排和发现是非...
2020-04-24 16:09:12
2586
翻译 gRPC核心概念
此文翻译的原文地址：gRPC Concepts综述服务定义和许多RPC系统一样，gRPC是基于定义服务，指定远程可调用的方法，并指定方法的参数和返回值的方式进行设计的。缺省的gRPC使用protocol buffers作为接口定义语言（IDL）进行服务和消息的定义的。如果需要的话，我们也可以使用其他的选择进行定义。service HelloService { rpc SayHello ...
2020-04-22 18:11:00
936
原创 在golang中如何使用gRPC和Protocol buffers
定义gRPC是一种在两个系统间发送和接受消息的传输机制。传统上这些系统是服务器端和客户端。一个使用golang实现的，用于传输JSON的RPC，我们叫做JSON RPC；类似的，gRPC被设计用来以protocol buf形式来传输数据。gRPC使创建服务变得容易和优雅。它提供了一组良好的API用于定义和运行服务。gRPC的主要优势是它可以支持多种语言。Protocol buffers提供...
2020-04-10 14:58:16
519
原创 Protocol buffers介绍及与golang结合使用
定义Protocol buffers是一个灵活、高效、自动化地序列化结构化数据的方案。类似于XML，但是更快、更小和更灵活。你只需要定义一次数据的结构，就可以使用多种语言从多种数据流中读取结构化数据，并进行操作。而且可以很方便的变更数据的结构，而且不影响基于变更前的数据结构的程序。在golang中，protocol buffers可以基于不同的传输协议进行传输，如HTTP/2和AMQP（Adv...
2020-04-09 11:03:22
623
原创 MONGO-GO-DRIVER与SSL结合使用详解
在mongodb3开始，它会强制进行SSL的配置，否则会存在Mongo shell无法连接到mongodb服务器的情况。我们开发人员为了在本地部署一个开发环境，都会倾向于在本地部署mongodb的服务器端和客户端，这样为了支持SSL，我们也会在本地通过openssl工具形成一个自签证书。由于自签证书的存在也会给基于mongo-go-driver进行golang开发带来一些问题问题描述如果我们...
2020-04-03 16:21:30
1335
原创 mongodb ssl详细配置说明
mongodb ssl详细配置说明在mac上安装mongodb 3.6的过程中，如果只是简单的安装官方文档通过brew或通过下载压缩文件进行安装的话，我们会发现实际上mongod进程正常启动成功，但当我们使用mongo进行本地连接时，实际上是连接不到本地服务器的，显示的错误信息为：Failed global initialization: InvalidSSLConfiguration: Er...
2020-04-02 19:24:52
2971
1
异步调用微服务的示意代码
2020-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人