SpringBoot分布式

一、分布式应用

在分布式系统中,国内常用zookeeper+dubbo组合,而Spring Boot推荐使用全栈的Spring,Spring Boot+Spring Cloud。

分布式系统:在这里插入图片描述

  • 单一应用架构
    当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。此时,用于简化增删改查工作量的数据访问框架(ORM)是关键。
  • 垂直应用架构
    当访问量逐渐增大,单一应用增加机器带来的加速度越来越小,将应用拆成互不相干的几个应用,以提升效率。此时,用于加速前端页面开发的Web框架(MVC)是关键。
  • 分布式服务架构
    当垂直应用越来越多,应用之间交互不可避免,将核心业务抽取出来,作为独立的服务,逐渐形成稳定的服务中心,使前端应用能更快速的响应多变的市场需求。此时,用于提高业务复用及整合的分布式服务框架(RPC)是关键。
  • 流动计算架构
    当服务越来越多,容量的评估,小服务资源的浪费等问题逐渐显现,此时需增加一个调度中心基于访问压力实时管理集群容量,提高集群利用率。此时,用于提高机器利用率的资源调度和治理中心(SOA)是关键。

二、Zookeeper和Dubbo

ZooKeeper

ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

docker run --name zk01 -p 2181:2181 --restart always -d COMMANID

Dubbo

Dubbo是Alibaba开源的分布式服务框架,它最大的特点是按照分层的方式来架构,使用这种方式可以使各个层之间解耦合(或者最大限度地松耦合)。从服务模型的角度来看,Dubbo采用的是一种非常简单的模型,要么是提供方提供服务,要么是消费方消费服务,所以基于这一点可以抽象出服务提供方(Provider)和服务消费方(Consumer)两个角色。

在这里插入图片描述

例子

服务端

pom.xml

<dependencies>
   <dependency>
       <groupId>org.springframework.boot</groupId>
       <artifactId>spring-boot-starter-web</artifactId>
   </dependency>
   <!--引入dubbo-->
   <dependency>
       <groupId>com.alibaba.boot</groupId>
       <artifactId>dubbo-spring-boot-starter</artifactId>
       <version>0.1.0</version>
   </dependency>
   <!--引入zookeeper的客户端工具-->
   <!-- https://mvnrepository.com/artifact/com.github.sgroschupf/zkclient -->
   <dependency>
       <groupId>com.github.sgroschupf</groupId>
       <artifactId>zkclient</artifactId>
       <version>0.1</version>
   </dependency>


   <dependency>
       <groupId>org.springframework.boot</groupId>
       <artifactId>spring-boot-starter-test</artifactId>
       <scope>test</scope>
   </dependency>
</dependencies>

application.properties

# 自定义的服务端名称
dubbo.application.name=provider-ticket
# 设置zookeeper的地址
dubbo.registry.address=zookeeper://192.168.43.105:2181
# 设置扫描包
dubbo.scan.base-packages=com.matthew.ticket.service

#debug=true

service

接口

package com.matthew.ticket.service;

public interface TicketService {
    public String getTicket();
}

实现类

package com.matthew.ticket.service;

import com.alibaba.dubbo.config.annotation.Service;
import org.springframework.stereotype.Component;


/**
 * @Description TODO
 * @Author Matthew
 * @Date 2019/6/20 20:41
 * @Version 1.0
 */

@Component
@Service//将服务发布出去
public class TicketServiceImpl implements TicketService {
    @Override
    public String getTicket() {
        return "《厉害了,我的国》";
    }
}

服务端启动类

注意:一定要配置@EnableDubbo
package com.matthew.ticket;

import com.alibaba.dubbo.config.spring.context.annotation.EnableDubbo;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
/*
 * @Description:
 * TODO 1. 将服务提供者注册到注册中心
 *          1. 引入dubbo和zookeeper相关依赖
 *          2. 配置dubbo的扫描包和注册中心地址
 *          3. 使用@Service发布服务
 */
@EnableDubbo
@SpringBootApplication
public class ProviderTicketApplication {

    public static void main(String[] args) {
        SpringApplication.run(ProviderTicketApplication.class, args);
    }

}

客户端

pom.xml

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!--引入dubbo-->
    <dependency>
        <groupId>com.alibaba.boot</groupId>
        <artifactId>dubbo-spring-boot-starter</artifactId>
        <version>0.1.0</version>
    </dependency>
    <dependency>
        <groupId>com.github.sgroschupf</groupId>
        <artifactId>zkclient</artifactId>
        <version>0.1</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

application.properties

dubbo.application.name=consumer-user
dubbo.registry.address=zookeeper://192.168.43.105:2181

客户端启动类

package com.matthew.user;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
/*
 * @Description:
 * TODO 1. 引入依赖
 *      2. 配置dubbo的注册中心地址
 *      3. 引用服务
 */

@SpringBootApplication
public class ConsumerUserApplication {

    public static void main(String[] args) {
        SpringApplication.run(ConsumerUserApplication.class, args);
    }
}

service

package com.matthew.user.service;

import com.alibaba.dubbo.config.annotation.Reference;
import com.matthew.ticket.service.TicketService;
import org.springframework.stereotype.Service;

/**
 * @Description TODO
 * @Author Matthew
 * @Date 2019/6/20 20:43
 * @Version 1.0
 */

@Service
public class UserService {

    @Reference
    TicketService ticketService;

    public void hello(){
        String ticket = ticketService.getTicket();
        System.out.println("买到票了,"+ticket);
    }
}

测试类

package com.matthew.user;

import com.matthew.user.service.UserService;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

@RunWith(SpringRunner.class)
@SpringBootTest
public class ConsumerUserApplicationTests {

    @Autowired
    UserService userService;
    @Test
    public void contextLoads() {
        userService.hello();
    }

}

在客户端配置服务端的接口用于远程引用

注意:一定要在相同的类路径下

package com.matthew.ticket.service;

public interface TicketService {
    public String getTicket();
}

运行结果

先启动zookeeper服务,然后启动服务端,再启动客户端

买到票了,《厉害了,我的国》
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spring Boot是一个用于创建基于Spring的独立应用程序的框架,而分布式爬虫是指将爬虫任务分配给多个节点进行处理,以提高爬取效率和速度。因此,Spring Boot可以作为分布式爬虫的框架之一来使用。 下面是使用Spring Boot实现分布式爬虫的步骤: 1.使用Spring Boot创建一个Web应用程序,用于接收爬虫任务和返回爬取结果。 2.使用Redis作为分布式任务队列,将待爬取的URL放入队列中。 3.使用多线程或者分布式计算框架(如Hadoop、Spark等)来处理爬虫任务,从Redis队列中获取URL进行爬取,并将爬取结果存储到数据库中。 4.使用定时任务或者消息队列来监控爬虫任务的执行情况,以及处理异常情况。 下面是一个使用Spring Boot和Redis实现分布式爬虫的示例代码: ```java @RestController public class SpiderController { @Autowired private RedisTemplate<String, String> redisTemplate; @RequestMapping("/start") public String startSpider() { // 将待爬取的URL放入Redis队列中 redisTemplate.opsForList().leftPush("spider:start_urls", "http://www.example.com"); return "Spider started!"; } @RequestMapping("/result") public List<String> getSpiderResult() { // 从数据库中获取爬取结果 List<String> result = new ArrayList<>(); // ... return result; } } @Component public class SpiderTask { @Autowired private RedisTemplate<String, String> redisTemplate; @Scheduled(fixedDelay = 1000) public void processSpiderTask() { // 从Redis队列中获取待爬取的URL String url = redisTemplate.opsForList().rightPop("spider:start_urls"); if (url != null) { // 爬取URL并将结果存储到数据库中 // ... } } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值