搭载Dubbo+zookeeper踩坑经历~

置顶 已于 2022-04-09 10:50:50 修改
阅读量762 收藏 2
点赞数
分类专栏： 分布式 文章标签： java 后端 分布式 dubbo 架构
于 2021-10-21 09:16:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45405782/article/details/120879433
版权

已移步掘金，点击查看

  • 大家好，我是melo，一名大二上软件工程在读生，经历了一年的摸滚，现在已经在工作室里边准备开发后台项目啦。
  • 这篇文章我们不谈数据结构了,来谈谈入门分布式踩过的坑。感觉到了分布式这一层，由于技术更新迭代很快，我们似乎很难接触到第一手材料了(就连官方文档都没有实时更新，很多不适用)。
  • 几经摸索，看视频，翻文档，找博客，终于把Dubbo+zookeeper的小demo给成功跑起来了，写下这篇是因为里边有好多的坑，具体我都写在代码的注释里边了，希望可以帮到更多小伙伴，少踩一点坑，专心搞技术！

大型互联网项目架构目标

衡量网站的性能指标：

•响应时间：指执行一个请求从开始到最后收到响应数据所花费的总体时间。
•并发数：指系统同时能处理的请求数量。
•并发连接数：指的是客户端向服务器发起请求，并建立了TCP连接。每秒钟服务器连接的总TCP数量
•请求数：也称为QPS(Query Per Second) 指每秒多少请求.
•并发用户数：单位时间内有多少用户
•吞吐量：指单位时间内系统能处理的请求数量。
•QPS：Query Per Second 每秒查询数。
•TPS：Transactions Per Second 每秒事务数。
•一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。
•一个页面的一次访问，只会形成一个TPS；但一次页面请求，可能产生多次对服务器的请求，就会有多个QPS

集群和分布式

传统

image.png

  • 集群: 很多人干同一件事情

很多台服务器,上边负责同一个模块

image.png

  • 分布式 : 很多人干不同的事情,合起来是一件大事情

很多台服务器,上边负责不同的小模块,最后合成一个大模块

image.png
​

  • 集群和分布式,往往是同时存在的

image.png

高可用性

  • 一个服务器挂了,不会影响另一个服务器,可以保证服务一直处于可用状态

高伸缩性

  • 由于把各个模块尽量抽离开了,降低了彼此之前的耦合关系,所以比如要给E模块加多几个,可用直接加不会影响其他模块

高可扩展性

  • 类似开闭原则,因为耦合度不高,所以扩展起来不是很难

架构演变

image.png

假设项目由 ABCD基础模块组成 E是公共模块

单体架构

  • 一个服务器上,放着一整个项目 ABCDE

垂直架构

  • 把项目拆成**独立(互相没有关联)**的两个模块 如 AB CD , 此时的E呢,因为两个服务器没有关联,所以E就不得不部署多次.即 ABE CDE 两台服务器

image.png

缺点

  • 公共模块在每个服务器上都需要用到

分布式架构

  • 垂直架构看起来已经是 不同服务器干不同的事情了, 不过还有一个公共模块E,在两个服务器中都出现过,我们要优化的话,可以多加一台服务器,单独放E

远程调用E(RPC)

  • 用到 HTTP REST风格等(Dubbo都帮我们封装好了)

image.png

缺点

  • E一但发生了改变,所有调用他的地方都需要去改变

SOA架构

没有什么是再多加一层解决不了的,加一个中间商ESBimage.png

微服务架构(待深入)

image.png

Dubbo的架构

image.png
节点角色说明：
•Provider暴露服务的服务提供方
•Container：服务运行容器
•Consumer：调用远程服务的服务消费方
•Registry：服务注册与发现的注册中心
•Monitor：统计服务的调用次数和调用时间的监控中心

快速入门

image.png

Zookeeper下载

官网：https://zookeeper.apache.org/releases.html
我选择的是这个版本，带有bin目录的
image.png

Windows

  1. 直接解压出来
  2. 将conf目录下的zoo_sample.cfg复制一份，改名为zoo.cfg（因为默认配置文件是这个名字）
  3. 然后退回安装目录，新建一个空的data 和 log

image.png

4 . 进入conf中修改zoo.cfg配置文件，将dataDir=/tmp/zookeeper 修改成 zookeeper 安装目录所在的 data 文件夹，再添加一条添加数据日志的配置(需要根据自己的安装路径修改)。
image.png
5 . 双击 bin目录下的 zkServer.cmd 启动程序:
image.png
6 . 控制台显示 bind to port 0.0.0.0/0.0.0.0:2181，表示服务端启动成功!
image.png
7 . 双击同目录下的zkCli.cmd 启动客户端
image.png
出现 Welcome to Zookeeper！，表示我们成功启动客户端。

注意

当需要一直启动zookeeper时，这两个cmd不能关掉不能关掉不能关掉！！！！！！！要保持运行

Linux

tar -zxvf (你下载的压缩包名称)
cd (你的安装目录)
cd conf/
cp zoo_sample.cfg zoo.cfg
vimzoo.cfg

此处需要按照上边一样修改，注意需要根据自己的安装路径修改 ， 同样也得创建data和log，修改端口等​

cd …
cd bin/
sh zkServer.sh start
sh zkCli.sh
​

  • 如果下载的版本不一样,可能需要自行查看一下帮助命令

详细配置(SpringBoot)

多模块开发

此处其实用到了三个模块,一个是公共接口模块,一个是provider模块,一个是consumer模块
其中后两个都共同去依赖公共模块
而provider又依赖consumer模块

想要完整源码的话可以评论区联系一下博主

特别注意

我们两个模块都要去@import com.example.dubbo_interface.service.StuService;

  • 那这里就意味着什么,别的项目得能找到这个包啊,要怎么把公共接口dubbo_interface里边的包暴露出来,可供别人调用呢,这里是用到了maven的install命令,把dubbo_interface这一模块打包到公共仓库去了,这样别的项目就可以引用里边的内容了!

如果对maven这一块还不太熟悉的话,具体可以参照这篇 maven(先给自己挖个坑,整理好了会发出来的)

以下一切配置都完成了之后,记得先打开zookeeper!打开zookeeper!打开zookeeper!

provider提供服务端

yml文件

dubbo:
  application:
    #配置应用的名称(应用可以是提供者也可以是消费者)
    name: dubbo_service
  #协议中心
  protocol:
    #固定的, 是只有provider才需要吗?
    name: dubbo
    port: 20882
  #指定注册中心的位置,127.0.0.1是ip地址,2181是端口号
  registry:
    address: zookeeper://127.0.0.1:2181
    ######这里是关键,很多教程没有配置,导致zookeeper连接不上
    timeout: 50000
  #要暴露的服务所在的包(配置扫包)
  #也可以在注解那里扫包
#  scan:
#    base-packages: com.example.dubbo_service.service

#指定该项目模块启动的端口,不可与其他项目端口重复
server:
  port: 8081

具体Service服务端

package com.example.dubbo_service.service;

import com.example.dubbo_interface.service.StuService;
import org.apache.dubbo.config.annotation.DubboService;

//暴露服务
@DubboService
public class StuServiceImpl implements StuService {

    @Override
    public String login() {
        return "111";
    }
}

引入Dubbo依赖和控制zookeeper的客户端

这里使用的是2.7.8版本,搭配2.5.5版本的Springboot
注意依赖接口模块

<!--依赖接口项目-->
<dependency>
   <groupId>com.example</groupId>
   <artifactId>dubbo_interface</artifactId>
   <version>0.0.1-SNAPSHOT</version>
</dependency>
<!-- Dubbo Spring Boot Starter -->
		<dependency>
			<groupId>org.apache.dubbo</groupId>
			<artifactId>dubbo-spring-boot-starter</artifactId>
			<version>2.7.8</version>
		</dependency>
		<!--curator依赖-->
		<!--Curator提供了一套Java类库， 可以更容易的使用ZooKeeper。 -->
		<dependency>
			<groupId>org.apache.curator</groupId>
			<artifactId>curator-recipes</artifactId>
			<version>5.1.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.curator</groupId>
			<artifactId>curator-framework</artifactId>
			<version>5.1.0</version>
		</dependency>

启动类

@EnableDubbo注解一般写在启动类上，默认会扫描当前注解所在类的包路径下的所有**@Dubboservice**标注的组件，如果需要自定义扫描注册的bean（服务实现），可以使用@DubboComponentScan或扫描属性实现。另外，@EnableDubbo注解等效于在配置文件中使用dubbo.scan.base-packages一步到位（开启dubbo功能+扫描dubbo的服务实现bean）

package com.example.dubbo_service;

import org.apache.dubbo.config.spring.context.annotation.EnableDubbo;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

//开启基于注解的Dubbo功能,同时扫描要暴露的服务端所在的位置
@EnableDubbo(scanBasePackages = "com.example.dubbo_service.service")
@SpringBootApplication
public class DubboServiceApplication {

	public static void main(String[] args) {
            SpringApplication.run(DubboServiceApplication.class, args);
	}

}

consumer消费者端

注意,其不同于传统的service,这里为了能独立启动,也要设置成web项目那种(再借助Springboot启动)

yml文件

dubbo:
  application:
    #指定当前服务/应用的名字（同样的服务名字相同，不要和别的服务同名）
    name: dubbo_controller
  ## consumer不需要这个通信协议,因为consumer无需通过Dubbo来远程调用
  #  protocol:
  #     name: dubbo
  ##    port: 20881
  #指定注册中心的位置,127.0.0.1是ip地址,2181是端口号
  registry:
    address: zookeeper://127.0.0.1:2181
    ######这里是关键,很多教程没有配置,导致zookeeper连接不上
    timeout: 50000
  ##发现按照官网只配consumer的话,也还是连不到zookeeper的
  consumer:
    ##后来发现这里就等效于DubboReference注解那里的timeout设置
    timeout: 3000
  ##此处是用在暴露扫包的,consumer不需要暴露服务
#  scan:
#    base-packages: com.example.dubbo_service.service

#指定该项目模块启动的端口,不可与其他项目端口重复
server:
  port: 8082

具体Controller消费者端

package com.example.dubbo_controller.controller;

import com.example.dubbo_interface.service.StuService;
import org.apache.dubbo.config.annotation.DubboReference;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/stu")
public class StuController {

    /**
     * 远程注入
     * 从zookeeper注册中心获取该service的访问url
     * 进行远程调用RPC
     * 将结果封装成一个代理对象,给变量赋值
     */
    //没timeout好像就出问题了??连不上??
    //也可以在yml里边的consumer的timeout进行配置
    @DubboReference/*(timeout = 5000)*/
    StuService stuService;

    @RequestMapping("/login")
    public String login(){
        return stuService.login();
    }
}

同上引入依赖

<!--依赖接口项目-->
<dependency>
   <groupId>com.example</groupId>
   <artifactId>dubbo_interface</artifactId>
   <version>0.0.1-SNAPSHOT</version>
</dependency>
<!-- Dubbo Spring Boot Starter -->
		<dependency>
			<groupId>org.apache.dubbo</groupId>
			<artifactId>dubbo-spring-boot-starter</artifactId>
			<version>2.7.8</version>
		</dependency>
		<!--curator依赖-->
		<!--Curator提供了一套Java类库， 可以更容易的使用ZooKeeper。 -->
		<dependency>
			<groupId>org.apache.curator</groupId>
			<artifactId>curator-recipes</artifactId>
			<version>5.1.0</version>
		</dependency>
		<dependency>
			<groupId>org.apache.curator</groupId>
			<artifactId>curator-framework</artifactId>
			<version>5.1.0</version>
		</dependency>

启动类

package com.example.dubbo_controller;

import org.apache.dubbo.config.spring.context.annotation.EnableDubbo;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

//开启基于Dubbo的注解
@EnableDubbo
@SpringBootApplication
public class DubboControllerApplication {

	public static void main(String[] args) {
		SpringApplication.run(DubboControllerApplication.class, args);
	}
}

公共接口

因为provider和consumer两个模块都会需要用到这个接口,所以不如抽取出来作为公共的接口

package com.example.dubbo_interface.service;

//公共接口
public interface StuService {
    String login();
}

Dubbo-admin

人生建议: 直接用老版本的前后端未分离,直接可以一键启动使用,端口默认在本机的7001

关于老版本的dubbo-admin我是直接用的尚硅谷教程里边的的尚硅谷的文件里边应该会有,如果找不着的话也可以评论留言一下

修改application.properties

server.port

该项目要启动的端口

registry.address

要监测的注册中心的地址

image.png

启动之前要先启动zookeeper!!!(如何启动参照上边zookeeper安装)

访问localhost:端口号

默认用户名和密码都是root

image.png

最终效果

先开着zookeeper,如何启动service模块,再启动controller模块,最后启动dubbo-admin项目
image.png
image.png

可以看到有一个服务数,两个应用数,一个是提供者,一个是消费者

服务是我们的接口模块

image.png

提供者

image.png

消费者

image.png
​

访问我们的接口

image.png

完整工程代码

  • 这里三个模块的互相依赖关系pom文件，基于个人项目名称不同而有所不同，若对于pom文件和依赖关系还有点迷惑的小伙伴们欢迎评论区微信交流

写在最后

  • 分布式这一块还是刚刚入门，原理方面希望也能多了解了解，希望接下来还能继续坚持下去，多多补充这一块的知识。关于Dubbo的一些高级特性，以及zookeeper的具体学习，过段时间再来补充！(flag疯狂立起来了)

PPT来源

  • 黑马Dubbo教程
  • dubbo-admin文件来源: 尚硅谷
搭载Dubbo+Zookeeper踩了这么多坑,我终于决定写下这篇!
java_xiaoo的博客
10-21 485
大型互联网项目架构目标 衡量网站的性能指标： •响应时间：指执行一个请求从开始到最后收到响应数据所花费的总体时间。 •并发数：指系统同时能处理的请求数量。 •并发连接数：指的是客户端向服务器发起请求，并建立了TCP连接。每秒钟服务器连接的总TCP数量 •请求数：也称为QPS(Query Per Second) 指每秒多少请求. •并发用户数：单位时间内有多少用户 •吞吐量：指单位时间内系统能处理的请求数量。 •QPS：Query Per Second 每秒查询数。 •TPS：Transactions
dubbo与zookeeper注意事项(填坑)
m0_46242001的博客
10-13 331
java NIO概述一.区分BIO和NIO概念1.阻塞IO(BIO)2.非阻塞IO(NIO)二.NIO核心部分1.核心之一----Channels2.核心之二----Buffer3.核心之三 一.区分BIO和NIO概念 1.阻塞IO(BIO) 理解：发出IO请求后，如果拿不到指定要求的数据就阻塞。 示例：已知后面会有10个字节的数据发过来，但是我现在只收到8个字节，那么当前线程就在那傻傻地等到下一个字节的到来，对，就在那等着，啥事也不做，直到把这10个字节读取完，这才将阻塞放开通行。 2.非阻塞IO(N
Dubbo+ZooKeeper 微服务开发
最新发布
MapleWalker的博客
08-28 1504
Dubbo+ZooKeeper 微服务开发,实现基本的RPC调用
dubbo和zookeeper使用中遇到的问题
春风化雨
07-31 890
1、背景问题 1）阿里服务器（每台服务器提供内网ip和公网ip，不支持VPN）； 2）安装中间件zookeper，部署dubbo服务，线上配置使用的都是内网ip； 3）本地使用公网ip连接zookeeper发现服务，并调用； 4）本地启服务，调用dubbo服务时，提示内网ip+端口号，重试三次超时。 2、问题根源 ...
使用Dubbo&zk进行远程调用
成都往右的博客
10-03 2419
关于Dubbo的学习，Dubbo官网写的简单易懂[Dubbo官网](http://dubbo.apache.org/en-us/docs/user/quick-start.html)，如果有时间没必要网上找了，基本也是官网一大抄。如果赶时间了解下可以参考下面的内容。
Dubbo分布式zookeeper应用错误——监听启动失败或服务器接口冲突报错
Williams10的博客
03-29 256
Tomcat 报错 org.apache.catalina.loader.WebappClassLoaderBase.checkStateForResourceLoading。
springBoot+dubbo+zookeeper分布式微服务
10-26
本项目"springBoot+dubbo+zookeeper分布式微服务"充分利用了这三个组件的优势，构建了一个高效、可扩展且易于维护的服务网络。以下是对这些技术及其整合应用的详细说明： **SpringBoot** SpringBoot是Spring框架的...
Spring Boot 整合 Dubbo + Zookeeper 实现服务者与消费者的数据调用
03-20
1.SpringBoot聚合工程整合Dubbo，实现服务提供者与服务消费者的数据调用， 2.该项目提高了自己对Spring Boot整合Dubbo的理解，并深刻的认识到了服务者与消费者之间的调用及流程 4. Dubbo配置全部采用yml文件配置，...
springboot+dubbo+zookeeper构建的分布式调用服务框架
11-26
在这个"springboot+dubbo+zookeeper"的项目中，开发者使用SpringBoot作为基础框架，构建微服务应用。SpringBoot的自动配置特性使得初始化和配置过程更加简洁。然后，Dubbo被引入作为服务治理框架，它允许服务提供者...
dubbo+zookeeper+spring+springMVC+mybatis
07-23
【标题】"dubbo+zookeeper+spring+springMVC+mybatis" 描述了一个基于这些技术构建的服务消费方与服务提供方的项目架构。在这个架构中，`Dubbo`是核心的服务框架，它负责服务的注册与发现；`Zookeeper`作为注册中心...
Error--dubbo连接zk异常：zookeeper not connected
JemeryShen的专栏
08-14 1242
完整报错信息：Error creating bean with name 'dubboBootstrapApplicationListener': Initialization of bean failed;如果只需要修改注册超时时间，只增加或修改registry一项就可以了。而且我连接的zookeeper服务器访问有点慢导致连接超时了。首先dubbo默认注册连接超时时间是5秒。所以我把其他服务调用的超时时长也增大了。调整dubbo的默认注册时间为200秒。注册超时缺省时间是5秒。......
Dubbo使用总结
许诗宇的博客
11-19 1万+
注意:本文参考。
Zookeeper集群配置
PennJ的专栏
06-17 765
在我完成了Hadoop集群配置以后（http://blog.csdn.net/jpiverson/article/details/9095431）就需要安装zookeeper 每个电脑做相同的操作 安装 cd /usr/local/src tar zxvf zookeeper-3.4.5.tar.gz mv zookeeper-3.4.5 /usr/local/zookeeper ch
dubbo注册中心细节
懂哥的博客
03-26 1979
一、常规写法 1.1在配置dubbo注册中心时，一般写法 dubbo.registry.protocol=zookeeper dubbo.registry.address=127.0.0.1:2181 1.2在配置dubbo注册中心时，也可以写成 dubbo.registry.address=zookeeper://127.0.0.1:2181 1.3当zookeeper地址不止一个 dubbo.registry.protocol=zookeeper dubbo.registry.ad..
dubbo服务配置
thertno的专栏
01-11 4653
、Dubbo注册中心配置 1.1 dubbo.properties方式 如果是一个单机的zookeeper服务，可以通过配置dubbo.registry.address=zookeeper://ip:port来告诉Dubbo使用使用zookeeper来实现注册中心，并且zookeeper的地址是ip:port。 如果是一个集群的zookeeper，配置参
分布式服务Dubbo+Zookeeper安全认证实例
08-28
Dubbo+Zookeeper分布式服务安全认证实例 Dubbo是一个基于Java的开源框架，用于开发高性能、可扩展的分布式服务，而Zookeeper是一个基于Java的分布式应用程序协调服务，它提供了高性能、可扩展、可靠的协调服务。 ...
springboot发布dubbo服务注册到nacos
Java技术栈，分享不断学习、不断超越、不断积累的历程！
04-10 8974
dubbo注册服务到nacos的pom依赖
zookeep报错:Socket error occurred: localhost/127.0.0.1:2181: 拒绝连接
热门推荐
mk33092250的博客
06-18 5万+
使用 ./zkCli.sh 查看zookeeper时服务报错，如下： 拒绝链接。首先怀疑是2181端口被占用了， 于是查看： sudo netstat -anp | grep 2181 发现端口并未被占用，尝试重启zkServer sh zkServer.sh start 报错已经有进程在运行了。 进一步定位： 检查conf/zoo.cfg中的配置文件，发现多了一个pid，该文件为上次暴力关闭电脑，未关闭zk导致的。 结论：服务未正常退出，删除该zookeepe.
Dubbo+Zookeeper
qq_40658986的博客
07-04 467
Dubbo+Zookeeper
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值