大数据
技术客
通过分享未来技术趋势,探讨互联网技术观点,分享技术学习笔记和发表最新研究,结识有共同理念、想法的一批有识之士,形成永久朋友
展开
-
分布式消息队列研究及实践
一、Kafka的背景介绍 1、kafka的三个应用业务场景 1)它能够实现发布订阅的流式数据处理.从这方面来看,它类似于流式队列或者企业消息系统. 2)它能够以容错的形式存储消息流. 3)它能够按照先后顺序处理流式消息.2、它最大的优势: 1)它能够在系统和程序之间建立实时的流式处理管道; 2)它能够实时的转换和处理流式数据.原创 2016-12-13 18:22:11 · 492 阅读 · 0 评论 -
创建微服务-用API网关实现
创建微服务-用API网关实现第一篇文章讲述了微服务的创建、设计和部署。同时,也讨论了关于应用微服务的优点和缺点。虽然微服务结构复杂,但它是处理复杂程序架构的理想选择。本文讲述通过API网关构造微服务。当你选择采用微服务构建自己的程序,则你需要考虑客户端怎样与后端服务交互。对于一个单体应用,仅有一个服务群提供服务(通过负载均衡器实现)。在微服务架构里面,每一个服务都暴漏了一个服务器集群。本篇文章我们...翻译 2018-06-15 17:02:03 · 3115 阅读 · 1 评论 -
Dubbo微服务实践思考
Dubbo提供的是一个无侵入的分布式中台解决方案,其核心是传输协议的代理模式、线程模型、负载均衡和服务治理模型。代理模式是指在客户端调用服务器端的服务就像在本机调用一样。线程模型是指服务端处理客户端服务时的线程池机制。其设计的目的是提高处理请求的效率。服务治理是在指对于请求的降级和熔断处理。服务降级是指在高并发条件下,服务端通过关闭相对不重要的服务保证重要服务的一种方式。服务熔断是指为了保证服务发...原创 2018-05-30 10:21:41 · 533 阅读 · 0 评论 -
linux环境下Zookeeper的安装实践
zookeeper作为分布式协调服务,作为Dubbo的重要配置中心,在分布式架构中具有重要的作用。任何的技术的学习,都离不开环境的配置和搭建。本文讲解zookeeper 在linux下的安装步骤:1、zookeeper下载 http://zookeeper.apache.org/ 2、下载完成的文件放到/soft文件夹下,其结构目录如下: /soft/zookeeper-3.4.12.tar...原创 2018-05-09 13:36:12 · 254 阅读 · 0 评论 -
怎样确定一个好的系统的架构样式?
从大的方面来讲,可以分为满足功能性需求和非功能性需求。前者是满足基本的业务功能,离开业务或者需求谈架构将毫无意义。后者从程序性能、网络性能、用户感知性能、伸缩性、维护性和简单性等角度考虑。程序性能肯定越快越好,尽可能的通过本地调用代替网络调用。网络性能包含两个指标吞吐量和崩溃量,两者相互矛盾。一个基本的原则是通过一个快速健壮的网络请求将是较好的一个时间。网络的伸缩性之前是指拆分组件的能力,现在是指...原创 2018-04-11 16:19:33 · 415 阅读 · 0 评论 -
分布式中台实践-Dubbo源码分析
Dubbo源码导入Eclipse,打开源码,源码的结构分为cluster、common、container、filter、monitor、plugin、registry、remoting、rpc、serialization、lite部分。从代码的结构上来讲,Dubbo采用SPI的代码结构,即所有的结构都有可实现的接口。首先从dubbo-config-api组件开始,其为配置文件解析做准备。结构上包...原创 2018-03-29 19:20:30 · 343 阅读 · 0 评论 -
分布式中台实践-windows环境下Dubbo+SpringMVC+Zookeeper环境配置
背景解决Dubbo+SpringMVC+Zookeeper是阿里巴巴提供的开源的分布式中间件,解决大数据量并发条件下的解决方案。本文章解决本解决方案下的环境搭建问题。前提条件1、下载zookeeper http://zookeeper.apache.org/ 安装完成后配置服务端口,并启动运行。2、下载Dubbo-Admin并通过jdk1.7下的Tomcat安装 http...原创 2018-03-16 11:50:59 · 345 阅读 · 0 评论 -
分布式中台-Dubbo的源码剖析之过滤器和监听器
Dubbo的Filter形成的是过滤链条,根据不同的业务形成了不同的过滤方式,此过滤信息目的是某些业务或者请求合规。监听器作为Dubbo的流程监控,采用代理模式,根据不同业务对象的生命周期,暴漏和实现不同的业务方法。Dubbo的监听器类型分为DeprecatedInvokerListener、ExporterListenerAdapter、InvokerListenerAdapter、Listen原创 2018-01-19 15:12:21 · 578 阅读 · 0 评论 -
分布式中台实践-dubbo的源码剖析之RPC
角色及职责描述Dubbo的RPC解决远程通信,在整个架构中起着关键作用。其具体实现包括Exporter、ExporterListener、Filter、Invocation、Invoker、InvokerListener、Protocal、ProxyFactory、Result、RpcConstants、RpcContext、RpcException、RpcInvocation、RpcResu原创 2018-01-17 14:24:52 · 425 阅读 · 0 评论 -
Hadoop配置---无密码登录
Hadoop的无密码登录采用SSH的配置方式,ssh为Secure Shell的缩写,有IETF的网络小组制定。SSH是建立在应用层基础之上的安全协议,其为远程登录会话或者其他网络服务提供安全性协议。传统的网络服务,如ftp和telnet本质上是不安全的,因为他们在网络上采用明文传送口令和数据,容易遭受“中间人”攻击。ssh采用加密的形式进行传输,有效杜绝了中间人攻击。SSH提供两种形式的原创 2017-10-24 10:04:36 · 735 阅读 · 0 评论 -
微服务介绍(理论介绍)
作者 Chris Richardson of Eventuate, Inc. May 19, 2015本人翻译微服务逐渐得到文章、博客、自媒体和会议的青睐,他们几乎达到发展的顶峰期。同时,一些社区认为微服务不是新鲜的概念,都是以前的概念。怀疑论者认为它仅仅是SOA概念的翻版。尽管有很多的否定者和怀疑论者,微服务架构尤其对于复杂的企业程序和灵活的开发组织具有着明显的益处。创建单体程序让我们想象一下...翻译 2018-06-08 17:29:46 · 804 阅读 · 0 评论